Web Scraping con Python - Curso con Beautiful Soup

[@diegomeza2736]

Muy bien. Me gustaría que invitaran más colaboradores y el canal tenga más actividad 👍 similar al canal en inglés. La comunidad en español los necesita 🙌

[@ivanvaras352]

¿CUÁL ERA EL LENGUAJE DE PROGRAMACIÓN R?

[@albertopardini1680]

El lenguaje es Python corriendo dentro de google colab que son cuadernos de Jupyter Notebooks@@ivanvaras352

[@Autoscraping]

Extraordinario material audiovisual que ha sido de gran utilidad para nuestros nuevos colaboradores. ¡Tu generosidad es inmensamente apreciada!

[@marcosmarval]

Sin haberlo visto aún ya lo guardo en mis listas y le doy su like....gracias 👍

[@angelaguarinrivera7600]

Yo también 😂

[@iliovininino]

Impresionantn lo bien que explica Juantorena. Introduce el tema, contextualiza y desarrolla todo en detalle para que no queden conceptos librados al azar. Maravilloso tutorial, muy por encima de muchos contenido pagos que he visto de diversos temas. Felicitaciones y muchas gracias por el trabajo.

[@gustavojuantorena]

Muchas gracias!

[@iliovininino]

@@gustavojuantorena a vos!

[@XxXjujio2013XxX]

Obvio es re contra legal e importante lo que voy a hacer con esto. Las palabras salvan vidas.

[@sarismejiasanchez]

Magnífico! El curso fue fluido y claro. Ahora queda practicar e implementarlo e interactuar con otros sitios de interés! No queda más que agradecer por compartir contenido gratuito y de calidad! 🙌😁

[@dioco098]

JUSTO ESTOY EN LA MATERIA DE MINERIA DE DATOS Y ESTO ES JUSTAMENTE LO QUE BUSCABA

[@EmilioAt77]

Buenisimo! Me gustó mucho el cursito, me llevo algunos trucos que no conocía. Los felicito por su trabajo! 👏🏻🍻

[@milosZcr]

Muy útil, complementa lo que he aprendido en otro tutorial. Además me alegra ver este contenido en español, ya había pasado por el canal de fcc pero en inglés, no sabía que existía este. Gracias

[@marcosdemircan2904]

Superrrrr. Graciassss Milessss al equipo de FreecodeCamp. Bendiciones miless🇨🇺🇨🇺🇨🇺

[@Tarts1234]

Me gusto mucho, hace un tiempo que queria aprender como hacer el web scraping, voy a poner en practica los conocimentos, muchas gracias por el video 👍

[@juanmanuelb.8392]

Gracias Gustavo!! muy claro el curso y muy útil para quienes nos estamos iniciando en estas herramientas.

[@sarismejiasanchez]

Hasta el momento estoy encantada con el curso, la explicación de las temáticas es amigable y clara, adicional a ello, el repo de GitHub con la presentación y el código a trabajar 🙌 Compartir el conocimiento, gratis y con este nivel de calidad! Simplemente agradecida! Hace mucho estaba por reforzar mis conocimientos en el tema y me animé con tu curso 👌 espero llevarlo a feliz término. Muchas gracias 🧠😁

[@JavierSalazar-i4f]

Excelente explicación. Creo que no se puede hacer mejor y la página web de ejemplo para practicar es fabulosa. Mil gracias

[@jorgeguzman9048]

Apoyo total al canal 🤗 espero algún día ver cursos a la par que FreeCodeCamp la principal

[@carlosvargas9847]

Muchas gracias Gustavo Juantorena, me facilitaste mucho las cosas, bendiciones. saludos del tabo, chile

[@krimenet4376]

Acabo de finalizar el curso, gracias por vuestro trabajo me ha ayudado para una introducción a Beautiful Soup ahora toca practicar :)

[@sebastiansebastian3158]

Muy bueno el curso. Muchas gracias por todo el contenido y las explicaciones. Excelente calidad!

[@MonicaEstrada-q1n]

Muchas gracias, el curso muy comprehensivo, fácil de entender y replicar.

[@marianocastelli5172]

Muy buena clase. Muchas gracias por compartir el conocimiento. Saludos!

[@ronalgranja9301]

Saludos, aquí siempre al dia con los nuevos videos.

[@FacundoBoladeras]

Increible contenido, muchas gracias por compartir esto de forma gratuita!!

[@Artemius79]

Muy bueno!. Ojalá tengamos más contenido, aprovechando todo el conocimiento de Gustavo!

[@rodolfoantoniopizacoronado9680]

Excelente clase, muy pedagógico. Muchas gracias

[@DiegoEmeGe]

Muchísimas gracias. Impresionante curso. Es la primera vez con Python y esto tiene un potencial enorme. Muy bien explicado. Enhorabuena.

[@alejandrosan]

Muy buen curso, casos prácticos y ejemplos para varios posibles escenarios, qué calidad este curso!!

[@carchobe]

Gracias por este curso, fue de lo mejor 👍

[@Pedro1043ful]

Minuto 1:34:12 el metodo zip() también funciona con tres listas. Por ejemplo se puede usar esto: datos = list(zip(marcas, nombres, precios))

[@wulkynebabe3866]

Buen curso. ¿Creen que HasData funciona bien con Beautiful Soup para diferentes tipos de scraping que enseña aquí?

[@LuzAydeChaverraTorres]

Hermosa, explicas muy bien, gracias por tus aportes!

[@LeonardoProne]

Enorme clase! muchas gracias

[@zacky6416]

Gracias freecodecamp y Gustavo! 🙏

[@rossisilvablas1646]

Ahora a practicar, muy bueno gracias!!😊

[@CristianArielSanhueza]

Excelente el contenido!! muchas gracias por generar contenido de calidad en español! Salu2!

[@konata_fan]

Gracias infinitas, estaba justo necesitando este tema 🎉🎉🎉🎉🎉

[@abcdef-w7z4e]

brutal, gracias crack :3, gracias por existir este hermoso canal :3

[@miguelangeltitorodriguez6742]

Excelente curso , ahora a practicar

[@Kytk7]

Gracias por crear estos cursos ❤❤❤

[@DanySordelli]

BUen Trabajo. Muy Claro. Gracias!

[@marcelelopezc369]

Que tema tan interesante y poderoso. Gracias. 🏆🏆🏆

[@miguelromero2363]

Gracias por este curso. Muy lindo!!

[@arielmancuzo9113]

Todavia no lo veo, pero ya me gusta que tenga imagenes de los simpsons, eso si es mucho muy importante

[@esarmiento7]

Fue chevere aprender hice webscraping junto con selenium, guardando en bases de datos, sacando estadisticas pero un año a eso y no conseguí ni un cliente.

[@jonathandajome690]

Vamos!!! 🎉🎉

[@MsVeloz21]

Muy bien, lo explicas muy bien, muchas gracias

[@jorgediaz6989]

Joder!! me encanta este curso

[@giovannyvanegas88]

Excelente, gracias por compartir este conocimiento 🤙

[@hugoloncq2612]

Muy buen curso. Agradecido:

[@inghmop]

Excelente contenido. Muchas gracias.

[@JoseTrinidadMorenoGonzalez]

🎉Te volaste la barda, con este curso...😂

[@rollopaterson-thelastimpre5572]

Muy util gracias!

[@kevinsantillan4843]

Excelente curso

[@sam-eq9nt]

Gracias por compartir

[@diegoarielsimonelli5902]

Impecable!!

[@vivracionespositivas]

Gracias por compartir..

[@ramiroromeroacevedo]

Excelente 👌

[@Diegotopizarro]

gracias por esto

[@DarkerDark1]

Muuuuchas gracias!!

[@alcobaa]

Vamos Argentina, carajo

[@dante1234565]

Muchas gracias.

[@nachoquetal]

Gustavo: quiero que sepas que te amo

[@scavro]

Buen curso

[@exodavid0780]

Excelente ❤️

[@kimruiz5019]

mil gracias, muy bueno; a la hora de ponerlo en practica se me dificulta un poco cuando los divs cargan información de bases de datos y servidores internos, ademas de estilos de Javascript, osea las paginas que cargan ventas de usuarios externos como las inmobiliarias.

[@Felipe-gk9mc]

Ahora necesito un curso de SQL, please. Saludos desde Brasil

[@mrj1968]

hermosa clase y muy bien explicada para alguien que recien inicia, existira mas clases sobre web scraping con el mismo instructor?

[@gustavojuantorena]

Gracias! Por ahora esta. Qué tema de web scraping te gustaría que se enseñe y no está incluído en este curso?

[@seba_prdo]

@@gustavojuantorena podria ser algo que se lleve a cabo en las empresas un ejemplo real pero complicado desde el webscraping hasta el data analytic y en lo posible data science para despues poder expresar lo buscado en graficos, como en power BI, Qlickview, etc...

[@emilianobaldino914]

Hola, muchas gracias! Alguna librería recomendada para scrapear gran cantidad de texto (400 pag)? @gustavojuantorena

[@carloscacn]

Hola Saludos muy buen curso. Me trabe en el ejercicio 2. Se debe separar el string de la lista producto y hacer un diccionario q contenga la condicion de la patineta(nueva, usada) y otra con el numero para despues hacer el condicional donde se muestren las q tengan un numero mayor a 3 ???

[@gustavojuantorena]

Hola Carlos, qué bueno que te hayas puesto a hacer los ejercicios. Lo podés hacer de muchas formas pero lo importante es poder filtrar y quedarte solo con las patinetas que tengan un número mayor a 3 en su nombre y su correspondientes precios. Separar el string y después usar un condicional me parece una buena estrategia. Vas a tener que tener cuidado que para hacer esa comparación de númeor "mayor" vas a tener que trabajar con valores numéricos (int o float) y no strings. Saludos!

[@esarmiento7]

Hola, se puede hacer un scrap que me guarde el valor de una pagina cada hora? osea es un contador pero quiero capturar que valor tenia a la 1am, 2am, etc. obviamente si apago el equipo no se si se puede desde google colab. gracias.

[@gustavojuantorena]

Hola! Si, hay muchas maneras de hacer que un codigo se ejecute cada un determinado tiempo, en sistemas UNIX como Linux y Mac se puede usar un software por terminak que se llama cron (podes buscar "cron jobs"). En Windows podés usar el programador de tareas. Respecto a Colab, suele se un problema porque después de cierto tiempo de inactividad no te deja seguir usándolo, por eso mejor correr el código como un script de Python. Espero que te sirva. Saludos!

[@esarmiento7]

@@gustavojuantorena Gracias, voy a mirarlo.

[@jevar4502]

😮

[@Salomonkein1992]

Me gustaria que hicieran scraping pero de sitios web como sitios web deportivos por ejemplo Fbref

[@gustavojuantorena]

La idea de este curso fue crear nuestra propia web sencilla para que siempre esté disponible tal cual se muestra en el tutorial, pero tomamos tu recomendación para un futuro curso. De todos modos podés usar lo que aprendas acá para la página que te interese! Saludos

[@LeninElio]

Excelente, nos podrían compartir presentacion que uso al inicio por favor ?

[@gustavojuantorena]

Hola @LeninElio, las acabo de agregar en el repositorio del curso que está en la descripción. Saludos!

[@memomike4520]

Necesito aprender como hacer scaping solo para los post foto, texto y video para pasarlo a otra web

[@gustavojuantorena]

Hola! El curso te puede servir. Más que nada para fotos y videos tenés que ver dónde se encuentra la URL que lleva al recurso.

[@gabrielag.hernandez8697]

Hola como están.. mi hijo quiere aprender a programar que tipo de computadora tiene que tener?..desde ya gracias por la información y saludos desde Argentina

[@RauruPy]

Cualquiera vale. No necesitas nada potente. En Google Colab se hace todo en la nube

[@gustavojuantorena]

Coincido. No se necesita una computadora más allá de lo estándar para empezar a programar. Muchos éxitos para él!

[@gabrielag.hernandez8697]

Gracias por la información!!!

[@bizarrapmusic]

En la parte de la tabla, si estás mirando constantemente el html de la página. No es mas fácil entonces simplemente hacer un get de la url/table.html ? XD

[@gustavojuantorena]

Hola! Tu observación está muy bien, en este caso el objetivo era mostrar como lidiar con elementos , dónde algunas veces no es tan fácil acceder a la URL dónde está alojada la información.

[@BlooooodLine]

Donde se encuentra la resolución de los ejercicios finales?

[@gustavojuantorena]

Hola! Cómo digo en el vídeo, si hay dudas las podemos resolver acá en los comentarios. Te trabaste con alguno? Hay una duda puntual?

[@kletis]

Muchas gracias por el curso muy util, uno de los problemas que me he encontrado es no poder superar el aceptar cookies. No se como resolverlo.

[@gustavojuantorena]

Hola! Si, no es necesariamente algo sencillo. Fíjate en la.docimentación de la librería requests que se puede pasar un parámetro cookies con un diccionario que contenga las que necesites.

[@ydvkuldeep5246]

When performing web scraping, if you encounter websites where certain HTML elements, like divs, lack consistent information (for example, one company's div has all details while another company's div is missing revenue information), it can lead to issues when converting the data into a CSV file.

[@pepe-perez]

en que hemisferio estas? o usaste una direccion del hemisferio norte para ejemplificar?

[@gustavojuantorena]

Te referís a la API de sunset-sunrise? Creo que intenté poner latitud y longitud de Buenos Aires pero por lo visto los puse en negativo jaja

[@pepe-perez]

@gustavojuantorena digo porque tiene una puesta del sol a las 8:50 más o menos y la fecha es junio o julio

[@gustavojuantorena]

@@pepe-perez Es cierto, medio raros esos horarios. Habría que revisar la documentación de la API

[@esarmiento7]

Hay comunidades de esto? Me gustaria unirme a alguna para ver que cosas van saliendo. Saludos

[@alfredomorales3017]

¿como se podria aplicar en alguna pagina que previamente se requeire autenticar?

[@gustavojuantorena]

Hola Alfredo, para el caso de autenticación, luego de asegurarte que esa página permite el scraping, deberías usar una herramienta como Selenium o Playwright que te permita emular la acción del navegador. Las ideas generales del curso te van a seguir siendo útiles (por ejemplo cómo acceder al espacio para poner el nombre de usuario y la contraseña), pero BeatifoulSoup no está pensado para ese tipo de casos. Éxitos!

[@orlandog1979]

El web scraping es Ilegal? En algunos lugares no lo permiten y por lo tanto me lleva a una inquietud.. Vale la pena aprenderlo?

[@gustavojuantorena]

Depende de varios factores: Si la información está pública sin necesidad de utilizar usuario y contraseña, copyright y de los términos y condiciones de la página.

[@ShigureMuOnline]

por las puras fue el diccionario url_imagenes cierto? no lo llegaste a usar en la hora 1h:00min

[@gustavojuantorena]

Es verdad! Lo definí y no lo usé, muy buena observación. Me imagino que al principio pensé en guardarme todas las urls en esa lista pero al final decidí descargarlas directamente.

[@ShigureMuOnline]

@@gustavojuantorena uy muchas gracias por la rápida respuesta. Gracias me habia quedado con esa duda, ahora puedo vivir tranquilo

[@Matias_Heinze]

porque aveces me da el resultado y otras no? en otra web lo probé! mismo codigo

[@gustavojuantorena]

Hola Matías. Podrías ser más específico? El código que les compartimos funciona tal cual está en scrapepark, pero los conceptos sí son generales para ser utilizados en otras páginas.

[@sarismejiasanchez]

Me habría gustado tener la explicación del apartado Pedidos HTTP con requests que hay en Colab. ¿Sería un error de edición? Comenzó desde Uso basico de APIs 🤔

[@gustavojuantorena]

Quedó fuera de la edición final, pero no involucra algo que no se explique. Si hay alguna duda puntual decinos!

[@sarismejiasanchez]

Una que no tiene que ver con el curso, pero quisiera una recomendación. ¿Que distribución de Linux usas en tu máquina?

[@gustavojuantorena]

@@sarismejiasanchez Uso Ubuntu

[@sarismejiasanchez]

@@gustavojuantorena gracias ☺️

[@josecarlosvielmanmallada4867]

Buenas, alguien sabe como puedo usar a api de wikipedia en ubuntu linux?

[@gustavojuantorena]

Hola! En el curso lo usamos en Linux ya que Google Colab está corriendo en una computadora con ese sistema operativo. No hay que hacer nada distitno a correr el código tal cual está, ya que Python es multiplataforma

[@TheJory248]

En mi caso la tabla de la que quiero extraer los datos si la muestra en el HTML pero al extraer los datos solo me muestra la etiqueta que la contiene:

[@gustavojuantorena]

Es alguna duda sobre el curso? O un proyecto de web scraping aparte?

[@TheJory248]

@@gustavojuantorena Buenas noches, es aparte sabrás en tu experiencia si existen páginas que de alguna manera cifren los datos para que no puedan ser extraídos?

[@gustavojuantorena]

@@TheJory248 Hola, si efectivamente puede pasar eso, por ejemplo con cifrado XOR. Podés buscarlo en Google para más información

[@esarmiento7]

Cual libreria hace el webscraping mas rapido que existe?

[@gustavojuantorena]

Hola! No sabría decirte exactamente porque hay diferentes maneras de medir que tan rápido funciona, pero en Python usar BeatifoulSoup es una opción veloz (respecto a Selenium por ejemplo). Así que si aplica al caso de uso, suele ser de lo primero que se utiliza. Saludos!

[@esarmiento7]

@@gustavojuantorena le puedo hacer scraping a titktok o me boquea la ip? Saludos

[@gustavojuantorena]

Primero deberías asegurarte de no estar incumpliendo las condiciones. En ese caso me parece probable que te bloqueen la IP después de algunos requests

[@str9845]

bs4 pero no sirve para la mayorias de paginas , lo mejor es Selenium

[@javieramartinez3146]

Puedes explicar como es el asunto de los Exploits? como puedo mandar parametros desde python y poder hacr scraping haciendo login en un sitio web?

[@gustavojuantorena]

Hola Javier, no creo haber hablado de exploits ¿A qué te referís? Sobre la autenticación podés ver la documentación de la librería Requests que tiene varias opciones, pero también es común usar otras herramientas como Selenium. Saludos!

[@javieramartinez3146]

@@gustavojuantorena Hola, me refería al envío de Pos para hacer log in. Agradecido por la buena documentación

[@gustavojuantorena]

@@javieramartinez3146 Un ejemplo básico podría ser el siguiente: import requests from requests.auth import HTTPBasicAuth response = requests.get(url de la web', auth=HTTPBasicAuth('tu_usuario', 'tu_contrasena')) Pero va a depender de otros factores, te recomiendo ir a la documentación de Requests. Saludos!

[@josepifarre9172]

hola, pip3 install --force-reinstall -v no se instala por ende hay error en todo el codigo, al final de la instalacion dice que hay instalado normalizer.exe en PATH, quito el normalizer.exe?

[@gustavojuantorena]

Me podés explicar más sobre el error? La idea es ejecutarlo directamente en Google Colab y ahí no debería aparecer ningún archivo ".exe" porque está corriendo en Linux

[@josepifarre9172]

@@gustavojuantorena Si, es que sale una carpeta en windows que es python 11, nunca lo instale, dentro de ella hay un archivo de normalizer.exe que aparecio de la nada, no se donde enviarte las capturas de pantallas.

[@gustavojuantorena]

@@josepifarre9172 Te recomiendo que lo ejecutes en Google Colab, es directamente en el navegador y no vas a tener ese problema. En la descripción de este video entrás al link que dice "Código del curso ... " y cuando entres a ese repositorio apretas en el boton "open in colab" que està despuès de "👩‍💻 Accedé al código del curso entrando al siguiente enlace:" De este modo no vas a tener ningún problema con windows porque se va a estar ejecutando en la nube de google con un sistema Linux por detrás. Saludos!

[@josepifarre9172]

@@gustavojuantorena Muchísimas gracias

[@gustavojuantorena]

@@josepifarre9172 De nada! 😀

[@Jralexisg]

Puedo hacerle web scraping a pdf subidos en la web con datos publicados

[@gustavojuantorena]

Si los archivos PDF están públicos podrías descargarlos de manera similar a cómo nos bajamos las imágenes en este caso. Luego deberías procesar el contenido de ese PDF ya en tu computadora (por ejemplo usando una librería de OCR)

[@jacarrascom]

​@@gustavojuantorena que librería OCR se podría utilizar?

[@gustavojuantorena]

@@jacarrascom Por ejemplo pytesseract

[@jamesmoisesllalleperez3079]

como hago para esa información luego insertarla en la misma pagina?

[@gustavojuantorena]

Hola JAMES, normalmente uno no tiene acceso para colocar información en una página de internet y modificarla. De eso se encarga aquella persona que la creó y/o la mantiene.

[@franliendro]

no era que el próximo curso iba a ser el de videojuegos???

[@mikewaldron475]

me da error: --------------------------------------------------------------------------- NameError Traceback (most recent call last) in () ----> 1 precios NameError: name 'precios' is not defined ¿Como se soluciona?

[@gustavojuantorena]

Hola. El error dice que 'precios' no fue definido, probablemente te haya faltado ejecutar una celda anterior donde se define esa lista. Fijate en la celda que comienza con estas lìneas: divs = soup.find_all('div', class_='detail-box') productos = [] precios = [] Saludos!

[@carloshinojosa7564]

Alguien que pueda ayudarme con una duda que tengo? Quiero extraer datos de una plataforma. La plataforma pues no es de acceso libre sino que debes pagar una suscripción. Yo estoy construyendo una herramienta que facilita mi interacción con la plataforma y para ello debo extraer algunos datos. ¿Es posible hacer web scraping a una plataforma de paga si sí tienes la suscripción?

[@gustavojuantorena]

Normalmente si hay que poner nombre de usuario y contraseña, hacer scraping no está permitido. Deberías ver los términos y condiciones de la web.

[@LuisMiguelAndujar]

Si tienes usuarios y contraseña para entrar Beautiful Soup no es la librería que necesitas para realizar webscrapping tendrías que mirar la librería bastante más potente llamada Selenium.

[@cobrachess1775]

Que hacer si la página pide un login?

[@gustavojuantorena]

En principio deberías poder enviar información al servidor, emulando lo que hacés al completar el login manualmente. Una de las maneras mas comunes es emulando un navegador por ejemplo utilizando herramientas como Selenium o Playwright. De todos modos deberías ver que no estés incumpliendo los términos y condiciones de la página. Saludos.

[@angellavado8166]

como hacer web scraping para paginas dinamicas con insercion con javascript

[@gustavojuantorena]

Hola! Para esos casos te van a servir las ideas generales de este curso pero vas a tener que usar una herramienta Selenium o Playwright que te permitan interactuar con páginas más dinámicas que tengan mucho código en JavaScript.

[@_awesomnet_4687]

Muy buen curso pero siento que le faltó llegar un poco mas a profundidad en los temas

[@gustavojuantorena]

Gracias ¿Qué te parece que le faltó?

[@_awesomnet_4687]

@@gustavojuantorena Quizás empezar primero con un repaso de python y la forma de manejar itersbles, resaltar al principio que bs4 retorna un objeto de besrifulsoup y no un iterables común. profundizar un poco más con el manejo de excepciones que están en la documentación de la librería, más ejercicios que estén entre cada 1 o 2 módulos para lograr esa sensación de progreso en el aprendizaje. Esto ya es una opinión pero el no usar vscode no está mal pero es el entorno que siempre manejamos así que creo que sería mejor intentar adecuarse ya a la herramienta de trabajo del día a dia

[@gustavojuantorena]

@@_awesomnet_4687 Gracias! Lo voy a tener en cuenta para próximos cursos!

[@franescobar89]

Biologo especializado en neurociencias y doctor en inteligencia artificial... Ahí te veo Skynet

[@gustavojuantorena]

😂😂😂

[@antonioroa3971]

La descarga de las imagenes no funciona del todo bien. . De hecho las imagenes son solo de tamaño 4kB cuando las descargo con el codigo tal cual lo implementas Sin embargo si las puedo abrir si las descargo directamente con un tamaño promedio de 200 KB Algo no está yendo bien

[@gustavojuantorena]

Hola @antonioroa3971, no estoy logrando replicar tu problema. Con el código como está implementado se descargan en la misma calidad que en la página, en un rango de tamaños entre 20kbs y 3 Mbs. De todos modos sin dudas esa implementación puede mejorarse! Saludos

[@esarmiento7]

Que vpn se puede usar para que no bloqueen la ip? saludos.

[@gustavojuantorena]

Hola, usar una VPN no suele ser la alternativa ante un bloqueo, lo que suelen hacer algunas personas es ir rotando proxies o buscando otra manera de hacer los pedidos al servidor desde otra IP.