Aprende a hacer Web Scraping. Extraccion de datos web con python y Selenium.

CURSO DE INTRODUCCIÓN A PYTHON: javidatascience.com/producto/%f0%9f%90%8d-curso-de-introduccion-a-python-domina-los-fundamentos-del-lenguaje-%f0%9f%90%8d/
Página web: javidatascience.com/
javidatascience.substack.com/
Enlace para recibir el código en el correo!
Es mi newsletter en la que envío correitos cada dos semanas hablando sobre programación, data science, data engineering y mundo empresarial.
En este video te enseño a extraer datos de una página web.
Está hecho en python y uso librerías como Selenium, BeautifulSoup, pandas...
Escríbeme con cualquier duda que tengas.
Un saludo!
Data science en español.
Como digo en el video, los datos no se pueden usar con fines comerciales, solo se muestran técnicas para obtener datos de una página web.
Correo: [e-mail]

[@da-artstudio]

Gracias, querido amigo, tu video me ha ayudado mucho. Pasé 3 días comprendiendo un video de 20 minutos))) y finalmente lo logré. Lo más importante es que entendí la esencia de cómo se hace. mil gracias.

[@javidatascience]

Que bien! Eso es lo importante, esforzarse y aprender!

[@fabricio6782]

Excelente! Muy claro y todo bien explicado. Felicitaciones!

[@javidatascience]

Muchas gracias Fabricio!!

[@kennyrodriguez8195]

Hola Javi, muchísimas gracias por tu generosidad al compartir el proceso para hacer web scraping. Qué genialidad la manera como explicas. mil gracias.

[@javidatascience]

Gracias por las palabras Kenny!

[@santosndongoguzman3918]

Muy bien explicado Javi, gracias por estas aportaciones

[@javidatascience]

Gracias Santos!!

[@walterfrenguelli5421]

Muy bien explicado, muchas gracias!! 🤗🤗

[@javidatascience]

Gracias Walter!

[@marianocastelli5172]

Excelente video, muy bien explicado. Gracias!!

[@javidatascience]

Gracias Mariano!

[@diegosebastianblan80]

Muy bueno Javi!, estoy arrancando y me sirvió un montón.

[@javidatascience]

Gracias Diego!!

[@juanalexandercoronelbrito7309]

Buenas Javi, muchísimas gracias por esta joya de vídeo! Trabajo como DS y la verdad, con tus explicaciones claras y concisas, seguiendo paso a paso, y comprendiendo la sintaxis, he podido hacerme con un mini proyecto personal de web scraping. Hasta ahora lo tenía pendiente y gracias a ti, he podido quitarme el gusanillo jejeje Deseando ver los siguientes de machine learnings para poder indagar más en esto. Estaría interesante un vídeo así de web scraping para yahoo finance o en contexto financiero! Un saludo!☀

[@javidatascience]

Gracias a ti Juan! Me alegro de que te haya podido ayudar! Ahora pronto retomo la subida de vídeos. Me apunto tu idea, suena bastante interesante. Un saludo!

[@marcopolo9206]

Fantástico !! Un gran trabajo

[@javidatascience]

Gracias amigo! Un abrazo!

[@carolinasoto007]

Excelente video explicativo!! Muchas gracias!!

[@javidatascience]

Gracias Carolina!

[@correoregistros7434]

Hola Javi, soy nuevo en lo Web Scraping y quisiera felicitarte para tomarte el tiempo de explicar esto tema.

[@javidatascience]

Muchas gracias amigo!!

[@Kaomila_]

Me encantó la explicación.Muchas gracias❤

[@javidatascience]

Gracias a ti!!

[@axelquirogacaldera2684]

Excelente vídeo, Javi

[@javidatascience]

Muchas gracias Axel!

[@mamueljr]

Excelente, muy bien explicado!

[@javidatascience]

Muchas gracias amigo!!

[@luisblanco7370]

Espectacular, Javier, gracias!!

[@javidatascience]

Gracias Luis!!

[@luisangeleliseagraciano2445]

Justo propuse para mi proyecto de IA, una red neuronal que predice precios de casas. Me ayudaste mucho para formar mi data sets! Gracias!

[@javidatascience]

Que bien Luis!! Animo con el proyecto :)

[@vicentemartinez9016]

Gracias, un trabajo espectacular.

[@javidatascience]

Gracias Vicente!

[@iliovininino]

MUY buen video! Vi varias personas intentando explicar con diversos métodos, pero nadie lo hizo tan claro y conciso como vos. +1 suscriptor!!!

[@javidatascience]

Me alegro de que te haya servido, muchas gracias Mauro!!

[@juanvillagra8212]

maravilloso, felicidades !

[@javidatascience]

Gracias Juan!

[@MatiasLeonelPerez-su6lw]

Una bestialidad lo tuyo hermano.

[@javidatascience]

Gracias Matías!

[@angelesgarcia7922]

Excelente video, un saludo

[@javidatascience]

Muchas gracias por tus palabras Angeles!!

[@cristiancontreras352]

Excelente video🎉

[@javidatascience]

Gracias Cristian!

[@EPGlobal]

575 subs genio y explicas bien ! yo creo que deberías hacer mas video y mas seguido puedes llegar a muchísimo mas, se tu mismo y se original asi

[@javidatascience]

Muchas gracias Gastón!! Volveré a subir video muy pronto :)

[@EdwinAr]

Tenía un proyecto ahí guardado más de un año porque no pasaba de un punto, vi tu video y me dieron varias ideas y lo logré. Gracias.

[@javidatascience]

Me alegro mucho Edwin!!

[@josedavidhernandezjimenez3526]

Muy crack!

[@javidatascience]

Muchas gracias!!

[@estebanmmp]

Muchisimas gracias

[@javidatascience]

Gracias a ti Esteban!

[@aipresentersnet]

Top player man!

[@javidatascience]

Thanks!! ;)

[@Erosgenuino]

Se oye muy bajito, ¿puedes subir el volumen al video?gracias.

[@mateobenitez7713]

¡Excelente video! me sirvió muchísimo para armar mis propias bases de datos y luego practicar con estas en mis proyectos de machine learning

[@javidatascience]

Me alegro de que haya gustado y servido Mateo!!

[@santoserminy751]

Hola Javi. Excelente tu aporte. Yo hago arbitraje de crytos y llegué a tu video buscando cómo bajar data de exchanges y bancos que hasta ahora analizo muy manualmente. No tengo nada de conocimiento de programación, pero seguro qué hay cómo bajar esa data a un excel y allí hacer el análisis. Crees que se podría con ésta herramienta? Has hecho algo similar? Sería recontar súper !!! Saludos

[@javidatascience]

Gracias! Claro que se puede hacer con esta herramienta. Se debería programar primero cómo hacerlo y luego se tendría que crear la aplicación (nivel pro!).

[@l_fernando_vr]

Necesitas extraer los datos, y con librerias pandas de python, hacer una hoja de calculo y luego exportarla a excel. Busca acerca de Pandas y ChatGPT funciona muy bien para aprender a usar esa libreria tambien.

[@sergicala1657]

Tus videos me ayudan muchisimo Javi pero tengo una duda, para un modelo de machine learning me harian falta como mil casas. Habria alguna manera de meter un proxy para extraer de manera masiva? Gracias!!

[@javidatascience]

Con este método yo he sacado +300 casas de una zona, que eran las disponibles, así que yo creo que puedes sacarlas sin problema estando como está. Gracias a ti!

[@vimiranda]

MUY buen video, enhorabuena. Jave: es posible hacer eso dentro del colab? saludos

[@javidatascience]

Gracias!! Creo que no es posible. Selenium no es muy compatible con Colab.

[@AntonioVu-iq5vk]

hola javii, tengo muchas dudas desde el principio… como obtengo jupiter y como consigo esos codigos..

[@user-bh5oe3pp8i]

Buenas Javi, qué tal? Estoy estudiando Data Analysis y me interesa mucho el web scrapping. Una pregunta de programación básica: En Jupyter Notebook no están cargadas las bibliotecas que usas en el ejemplo, correcto? Qué bibliotecas son necesarias? Scipy sería sufucuente?

[@javidatascience]

Hola! Las librerías hay que cargarlas al iniciar cualquier notebook. No uso scipy aquí. Las librerías básicas de webscrapping son: Selenium Besutifulsoup Request Y añadiría pandas, pero esto es opcional. Con esto abarcas bastante :)

[@DK1alex]

Que me dices Javi matico jajajajaj, buen video!. He visto que lo han hecho más difícil para poder entrar, has descubierto como?

[@javidatascience]

Gracias Alex! Pues no se cómo lo han hecho exactamente. Lo que se me ocurre es que han cogido la configuración que usa undetected chromedriver y la usan para detectar quién lo está usando y así banearlo. Pero no lo se seguro!

[@JorgeTambley]

no detectan los eventos de click ?

[@bladeboke]

Fantástico video. Una duda. Se podría crear un programa para ver qué anuncios entran nuevos o se dan de baja en una zona en concreto??

[@javidatascience]

Diría que sí pero lo veo algo complejo. Se me ocurren dos opciones: crear una alarma en idealista (opción fácil para que te avisen al correo y luego si quieres lo scrapeas), o la opción mas difícil es hacer esto una vez a la semana y ver cuales han entrado nuevos. Gracias!

[@bladeboke]

@@javidatascience yo lo he conseguido con alertas al correo de nuevos anuncios y dados de bajas pero es todo manual. No se si se podría automatizar. En caso que si cuánto podría cobrarme un informático? Estoy empezando en la programacion y se me escapa jejeje. Muchas gracias

[@javidatascience]

Eso si quieres lo hablamos! Mándame un correo a [e-mail] y vemos qué podemos hacer.

[@vicentemartinez9016]

Buenas tardes. Estoy ejecutando el código pero la lista que debe contener los id de los artículos aparece con todos sus valores None. He visto que hay que cambiar id_muebles = [article.get('data-adid') for article in articles] por id_muebles = [article.get('data-element-id') for article in articles] Muchas gracias.

[@javidatascience]

Muy bien visto! Esto ayudará a alguno que se atasque con esto. Deben haber cambiado esa parte de la web.

[@miquelbonastre9907]

Hola Javi y si quisieramos que el scraper pulsara sobre el botón de "Ver teléfono" y guardara el número de telefono después que harías?

[@javidatascience]

Pues seguiría la misma estrategia que sigo en el video! Inspeccionaría en el html donde está y lo cojo con bs4. Con eso estaría ;)

[@GermanMedinaNeria]

Hola Javi Consulta el codigo python para ejecutar webdriver es compatible con cualquier version de google Chrome ?

[@javidatascience]

Hay que indicar el chromedriver que estás usando dentro del uc.Chrome(). Con eso, debería funcionar!

[@casimiroporlaventana5201]

Hola ..quiero bajarme estadisticas de futbol (fechas y horas de los partidos).. no tengo idea de programacion .. por favor indicame como debo hacer para conseguir esa informacion .. gracias

[@javidatascience]

Hola!! Pues mira, habría que aprender bastante de python. Cosas a aprender: python basics, numpy, Pandas, beautifulsoup, request... Y con estas cosas podrías montar algo! Contactame al correo si quieres información más en detalle. Tengo en el horno mi bot que predice resultados de partidos de fútbol 🤖

[@nega8737]

Hola Javi, gracias por el video, me fue muy util. Una consulta, veo que usas el módulo undetected_webdriver, sin embargo estás importando varias herramientas de selenium, mi pregutna es, son necesarias o basta con solo importar el undetected webdriver ya que noto que el selenium no lo usas en este caso. Gracias!

[@javidatascience]

Buena pregunta. Ahora mismo no estoy seguro si haría falta, pero bueno está bien dejarlo mencionado :)

[@miguelg8a]

Tambien me pregunto eso

[@CryptoJJ_TECH]

Buenas Javi, estoy creando un proyecto y todo esto que haces me podría ayudar mucho. Como puedo contactar contigo? Un saludo!!

[@javidatascience]

Buenas Joan! Escríbeme a este correo: [e-mail]

[@matiasignaciomenesescaro9577]

Hola, he estado tratando de aplicar tu metodo a walmart sin duda me sirvio mucho tu video pero al buscar los productos y el id, me aparece que esta en una li, todos los productos de donde no me deja extraer los productos :/

[@javidatascience]

También puedes sacar los li! Busca en Internet y lo encontrarás :)

[@carloekpalomo193]

Hola javi. estuve replicando tu codigo para practicar y me abre el navegador de google, pero despues de un rato se cierra y me marca un error [WinError6] controlador no valido y de ahi no avanza, me podrias ayudar?

[@javidatascience]

Será a lo mejor que no tienes el chromedriver instalado? Prueba a ver si funciona.

[@gralleg9634]

Muchas gracias ! No he recibido el código cuando puse mi email, tienes también el código en github o algo así ?Muchas gracias

[@javidatascience]

Hola! Substack me la ha jugado, si no te importa, vuelve a suscribirte. Si no te llega, mándame un correo y te lo envío!

[@okusai]

Hola Javi, Una pregunta. Apenas iniciado el código, (estando en las primeras filas, ni siquiera habiendo llegado a la función), Idealista me baneó. ¿Algún truco para evitarlo? Muchas gracias!

[@javidatascience]

He oído algo de una actualización de Chrome. Prueba a meter más segundos por si acaso!

[@manfio100]

Hola! Intenté realizar web scrapping en una pagina la cual debo loggearme, pero no pude lograrlo. Por alguna razon todas las interacciones que hago antes del loggin para llegar a esa pantalla funcionan, pero cuando quiero seleccionar los inputs y rellenarlos con el usuario y contraseña, no funciona. Pregunta: es probable que la web tenga alguna proteccion anti scrapping y por eso no me deje? Probé de todo y no tuve exito, lo estuve haciendo con JavaScript y Puppeteer. Gracias y un saludo :)

[@javidatascience]

Pues me sonaría raro esa protección. Con python usaría selenium, seleccionaria el objeto y usaría send_keys para enviar el texto. A ver si hay suerte!

[@martinariel9862]

Seria muy util compartir el codigo para praticar. gracias

[@javidatascience]

Lo tienes en la descripción!

[@Andres-qu2vf]

Gran trabajo Javi. He escuchado q Scrapy es mas fácil y sencillo para el Web Scraping. Que hay de verdad en ello???

[@javidatascience]

Yo no diría fácil y sencillo! Lo he visto un poco y me ha dado respeto. Lo tengo en mi lista de cosas a probar. Creo que es más fácil empezar por requests y beautiful soup, y luego saltar a selenium.

[@h.sebastian3672]

Hola Javi, estoy comenzando en el web scrapping. Que libreria me recomendarias si quiero pasar codigos captcha

[@javidatascience]

No soy experto en tema captchas, pero hay una librería que se llama 2captcha-python que dicen que funciona bien!

[@h.sebastian3672]

@@javidatascience genial, muchas gracias. Voy a probarlo

[@nicolasscheelje9671]

hola amigo,me da el win error 6 ,alguna solucion?ya tengo bien instalado el driver de chrome

[@javidatascience]

Prueba a reiniciar tras instalar las librerías, a ver si así te funciona!

[@albertogarcia2477]

Buenas Javi, muchas gracias por el video!! Estoy intentando seguir tus pasos pero Idealista no me deja acceder, ha cambiado algo de la página web de idealista o estoy haciendo algo mal? Un saludo y muchas gracias

[@javidatascience]

Gracias Alberto! Idealista ya ha cambiado su sistema de seguridad y no se puede acceder :(

[@jjferreirapt]

There is any alternative? I have tryed also with seleniumbase without success. Thanks @@javidatascience

[@antoniogalisteo3674]

Hola, en los últimos pasos de parsear inmueble que ya especifica características y demas me deniegan la conexión y pone que max intentos excedidos. Me paso ayer y hoy igual. ¿Que hago?

[@javidatascience]

Idealista ha reforzado bastante su seguridad, ahora es más complicado

[@alfredomorales3017]

Hola, excelente curso, un poco rápido para m icapacidad de retención, ¿si envío el correo me podrias responder con el código? debo hacer un programa que analice desde una web, la afluencia de personas que ingresan a diversas estaciones de u nsistema de transporte local; la página publica cada semana los datos diarios... tengo que hacer una comparación entre todos los días desde 2020 a la fecha para establecer una tendencia y determinar si la afluencia va disminuyendo o aumentado. ¿puedes ayudarme con el código de este video? de antemano gracias

[@javidatascience]

Hola Alfredo! Metete en el link de la descripción y pon tu correo. Se te enviará el código de este vídeo. Un saludo!

[@jeisonsalcedovasquez7114]

excelente video, alguien sabe por qué al momento de realizar el import undecteded_Chromedriver as uc, me sale este error: Cell In[4], line 6 4 from selenium.webdriver.support.ui import WebDriverWait 5 from selenium.webdriver.support import expected_conditions as EC ----> 6 import undecteded_Chromedriver as uc 7 import requests ModuleNotFoundError: No module named 'undecteded_Chromedriver'

[@javidatascience]

Prueba a hacer pip install undecteded_chrome :)

[@miguelangellima75]

Hola Javi, excelente explicación, estaba intentando realizarlo y me sale error cuando corro el script en Google Colab, específicamente en linea " browser = uc.Chrome() ", el error que me sale es TypeError: Binary Location Must be a String

[@javidatascience]

Hola Miguel! A mi siempre me ha dado un montón de problemas selenium en Colab. Te recomiendo usarlo desde jupyter!

[@rubenantuna6537]

Muy buen vídeo. Sin embargo, con ese método Idealista ahora lo restringe y no sirve. ¿Alguien sabe como saltarse el bloqueo?

[@madtin]

Es lo que buscaba, pero nada, has encontrado alguna forma?

[@da-artstudio]

Buenas tardes, gracias por el vídeo. Una pregunta, el primer paso.. donde el programa abre el Google Chrome. En mi caso se abre se cierra inmediatamente. Y me da un error. Sabes si undetected (uc) es compatible con versión pe Python nueva (3.12)? Gracias

[@javidatascience]

Creo que si. A lo mejor tienes que indicar el path del chromedriver de tu versión actual de Chrome!

[@da-artstudio]

@@javidatascience gracias por tu respuesta

[@vicentemartinez9016]

Haciendo alguna modificación al código para poder sacar el profesional, me han bloqueado. ¿Sabéis cuánto tiempo debe pasar para que me desbloquen?. ¿Se podría añadir al código una lista de proxy para evitar el bloqueo?. Si en lugar de abrir una instancia nueva a chrome, lo tenemos abierto con anterioridad a la ejecución del programa ¿se podría evitar el bloqueo creando una nueva solapa? Gracias.

[@javidatascience]

No recuerdo cuanto tiempo tarda, pero si que es mejor que no sigas por si te banean la ip! Se que hay gente que usa ips rotatorias o proxies, pero yo no he llegado a probarlo.

[@pedl7613]

al intentar entrar a idealista me aparece el captcha y aunque lo haga manualmente no me deja entrar a la pagina, sabes por que ocurre esto? Muchas gracias.👍👍👍

[@javidatascience]

He estado testeando últimamente y estoy casi seguro de que ya han mejorado su sistema de seguridad y no te deja entrar de esta manera... Seguiré probando e informaré!

[@pedl7613]

OK muhas gracias 😁😁😁@@javidatascience

[@isoledad]

La verdadera pesadilla del Web Scraping es cuando quieres trabajar recopilando datos financieros, me gustaría saber si tienes algún consejo para este tema, páginas como Barrons o Morningstar siempre me acaban bloqueando las IPs

[@javidatascience]

Se de gente que alterna ips, pero yo no he llegado a ese punto. Prueba a investigar por ahí!

[@miquelbonastre9907]

Interesante Javi, pero tu código con un chrome posterior al 114 da problemas por el chromedriver. ¿Como lo solucionamos?

[@miquelbonastre9907]

browser= uc.Chrome() peta

[@javidatascience]

Gracias por decirlo, miraré como actualizarlo!

[@javidatascience]

Miguel, ya lo he solucionado. Tienes que descargarte la versión de chromedriver más actualizada, y luego tienes que poner: uc.Chrome(driver_executable_path = 'path/to/chromedriver.exe'). La ruta tienes que modificarla. Me dices si necesitas algo más :)

[@miquelbonastre9907]

@@javidatascience grande javi! funcionó! en caso de mac funciona sin '.exe'. Solo ruta =)

[@ocon1]

Buenas, buen video, pero me han baneado a la primera de cambio aplicando directamente el código tuyo, habria algo que se pudiese hacer?gracias!

[@javidatascience]

Prueba a meter mas tiempo de espera, a ver si mejora así!

[@user-wl1uo1bz1t]

Pero si nos han baneado y ya no nos deja acceder a la pagina web, hay algo que hacer?@@javidatascience

[@javidatascience]

@@user-wl1uo1bz1t si esperas un tiempo te desbloquean

[@AndresGonzalez-bd9dp]

es un excelente material, lamentablemente no se como correrlo en Deepnote o cualquier otro notebook online :(

[@javidatascience]

Gracias Andrés! Hacer web scraping con Selenium es muy complicado con los notebooks online. Prueba a usarlos en jupyter.

[@esarmiento7]

Has hecho webscraping para sacar comentarios de youtube? hay posibilidad de que me bloqueen la ip o es seguro? saludos

[@javidatascience]

No he probado a hacerlo, pero no creo que te bloqueen!

[@torysp]

Muy buen video, pero por desgracia ya no funciona esa forma de obtener datos.

[@javidatascience]

Gracias! Si, una pena que ya no funcione

[@antoniocarpin5161]

Brutalisimo el vídeo Javi, yo estoy con la API de Idealista descargando datos. Si te interesa podemos hablar y friquear un poco del tema 🤓 Dime y te paso mi número!!!

[@javidatascience]

Claro! Mándame un correo y hablamos!

[@federicoaguero5845]

Me aparece ese error: --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) Cell In[1], line 7 5 import pandas as pd 6 import numpy as np ----> 7 from selenium import webdriver 8 from selenium.webdriver.common.by import By 9 from selenium.webdriver.common.keys import Keys ModuleNotFoundError: No module named 'selenium'

[@javidatascience]

Tienes que instalar selenium con pip install selenium

[@AntonioVu-iq5vk]

hola javii, tengo muchas dudas desde el principio… como obtengo jupiter y como consigo esos codigos..

[@javidatascience]

Para el código de este vídeo, suscribete a la newsletter que está en la descripción. Para jupyter, tengo un curso en el que explico todo sobre la introducción a python en mi página web. También puedes encontrar más información online.