Web Scraping with JavaScript

Subscribe for more content about JavaScript
Take your career to the next level with my mentoring plans 👇🏼
/ leonidasesteban
A course of Web Development👉 platzi.com/cur...
Follow me to see behind scenes and exclusive content.
/ leonidasesteban
/ leonidasesteban
github.com/leo...

[@LeonidasEsteban]

Ups, olvidé cambiar el número de la página en la recursividad, solo es convertir la url a un template literal ya ustedes tienen práctica en eso, confío en que quede clara la idea ;)

[@mariomadera91]

Gracias Leonidas, es un tema que me interesaba y ni sabia como googlearlo jaja.

[@LeonidasEsteban]

Y aquí lo tenemos, una clase profesional cada semana

[@indigosnetworkc.a3682]

Para los que se les presente este pequeño error UnhandledPromiseRejectionWarning: TimeoutError: Navigation timeout of 30000 ms exceed ed Aquí les dejo el snippet de resolución: await page.goto('platzi.com/cursos/html5-css3/opiniones/1/', { waitUntil: 'load', //remove the timeOut timeout: 0 });

[@juandavidblancovergara1882]

y como tomamos las src de las imagenes?

[@AlexanderRodriguez-jz1zy]

Primero primero..!!! Ansioso por ver que traes hoy

[@LeonidasEsteban]

Alexander Rodriguez gracias por siempre acompañarme Alex 😊 estaría genial que te pusieras avatar para conocerte.

[@AlexanderRodriguez-jz1zy]

@@LeonidasEsteban Hecho Bro..!!! es viejita pero le tengo cariño a esta foto

[@jorgev4656]

me gustaria mucho si pudieras hacer scraping en una pagina con contenido dinamico como linkedin. muchas gracias

[@vict0rCaballero]

Chvr Leonidaz , ahora que entramos en cuarentena , tendré time para checar todo tu contenido vibes !

[@LeonidasEsteban]

Estaré pendiente de tus comentarios, muchas gracias por acompañarme

[@indigosnetworkc.a3682]

Mostro Leonidas, gracias por otro temazo, y que trucazooo!!! Jejejeje.

[@LeonidasEsteban]

Indigos Network C.A #queTrucazo muchas gracias por ser parte de la comunidad, espero verte en un en vivo

[@felipedev_]

Que buena explicacion, para agregar hay una libreria llamada cheerio.js.org/ que sirve para hacer scraping y facilita un monton !

[@4ngel4guirre11]

Haz más web scraping necesito aprender node. Js

[@LeonidasEsteban]

También me gusta mucho node, a veces no se exactamente que explicar del tema pero me animaré a hacer más contenido del lado del servidor

[@jesusalbertopertuzorozco6088]

Jjajaj eres un Capo, gracias por todo.

[@cristiancaraballo5645]

¡Me Encantooooooooo!❤❤❤🤯🤩 Eres un Coquito leonidas !🧠

[@LeonidasEsteban]

Cristian JGC muchas gracias Cristian, espero verte por aquí cada semana te prometo que siempre aprenderás algo nuevo

[@cristiancaraballo5645]

@@LeonidasEsteban tenlo asegurado! 😉👊

[@darksideadv]

Hola, puedes hacer un video enseñando a capturar el enlace de elemento, captura del link de la imagen y titulo. se lo agradecería.

[@Futu8D]

Gracias Leonidas, tenes mi apoyo Saludos.

[@LeonidasEsteban]

:) gracias Futu

[@eliudiaz7469]

Te conocí por un Platzi Master en HackDHI que se organizó hace unos días. Me gusta mucho la manera en la que explicas, es clara y concisa, además de que el contenido es muy bueno. Gracias y un saludo Leonidas, sigue así.

[@LeonidasEsteban]

🤔 que es el HackDHI? Muchas gracias por llegar aquí. Una clase profesional todas las semanas 🤘

[@jacarrascom]

Leonidas, excelente video. Veo q usas un customelements para mostrar la lista. Como hacer para mostrar tarjetas tal cual está en platzi. Gracias.

[@COM88FUL]

Terrible! gracias x tus aportes!

[@objetosdeculto]

Excelente León.

[@LeonidasEsteban]

🤘 muchas gracias, no olvides pasar por aquí todas las semanas

[@333starling]

Muy Bueno el curso!!, una pregunta, es posible hacer login en una pagina con puppeteer ?

[@LeonidasEsteban]

Es muy posible, buen tema para una próxima clase 🤘

[@francis6418]

Buenas! Al intentar arrancar el index.html me sale el siguiente error: Access to script at 'file:///Users/fomz/entornos/Apuntes/webscrapping/data.js' from origin 'null' has been blocked by CORS policy: Cross origin requests are only supported for protocol schemes: http, data, chrome, chrome-extension, https. Como lo soluciono? Muchas gracias!!!

[@LeonidasEsteban]

Tienes link a github? Escribeme por facebook y le vamos dando! facebook.com/LeonidasEsteban

[@francis6418]

Leonidas Esteban gracias Leonidas, creo que es porque no lo tengo arrancado en un entorno donde se pueda consumir

[@Superchente]

Creo que solo haces scraping de la página 1. ¿Es posible? Saludos.

[@ffiguereo2]

Vicente Alvaro Yo me he fijado en lo mismo

[@LeonidasEsteban]

Ups

[@netzal1531]

Sí, solo esta iterando 137 veces sobre la 1° página

[@Superchente]

@@emilysama714. Correcto!!!

[@gustavoalejandromaldonadot9756]

@@Superchente sabes como solucionarlo?

[@miltonpaucar6471]

krack fallaste la parte del código donde cambias la estructura completa del lenguaje inglés al cambiar la forma en que escribes un verbo irregular write en pasado le pones writed pero es written. buen video

[@LeonidasEsteban]

Chispas 😅

[@adriancontreras-ceron3023]

Extraje información pero toda me quedó pegada, por ejemplo, "Madrid$2.000.000Berlín$3.000.000", ¿existe alguna forma de separarla?

[@indigosnetworkc.a3682]

Como puedo hacer para pasarle la url como un parámetro desde la consola?

[@indigosnetworkc.a3682]

Leo disculpa el raiting no lo cuenta, como sería la manera correcta?

[@LeonidasEsteban]

Probaste usando el código que esta en mi GitHub

[@indigosnetworkc.a3682]

@@LeonidasEsteban Si al final para que cuente bien el rating lo hice así: rating: $review.querySelectorAll('.Review-stars .fulled').length -> see that querySelectorAll(). Thanks. ó rating: $review.querySelectorAll('.Review-stars > .fulled').length

[@luisguillermofigueroaherna4536]

Leonidas, en el caso de una pagina como esta: scienti.colciencias.gov.co:8081/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0000466751 que no tiene clases o ids para hacer la busqueda con querySelector, no se podría hacer webScraping? :)

[@333starling]

puedes utilizar el lenguaje Xpatch, tambien expresiones regulares, igual cualquier atributo o cualquier container te puede ayudar para atravesar el dom como quieras, intenta ver el dom como cuando selecionas un elemento de un array, que hay muchas formas de hacerlo.

[@joseysusamigos]

yo lo hacia con una libreria de PHP

[@LeonidasEsteban]

Hay mil formas de resolverlo, esta fue la Frontend friendly 😂

[@helloWorldPlus]

Holaaaa, tengo una consulta, como puedo aplicar esta técnica en un contexto en el que para llegar a la data que necesito obtener? apps5.mineco.gob.pe/proveedor/ Necesito obtener una base de datos de los proveedores del Estado por Municipalidad Distrital. Para ello se debe seguir una secuencia de selección que empieza con dar click en un bullet point y este no tiene una clase y no sé como hacer eso... El tema es que después de dar click en el bullet point,, se da click en algunos botones que si tienen clase y finalmente se llega al nivel del distrito y debería descargarme toda la data de proveedores que han contratado con dicho distrito, la cual está distribuida en diferentes páginas... Luego debe regresar al inicio y repetir lo mismo hasta terminar con los casi 1900 distritos :( alguna sugerencia? no encuentro como trabajar con el bullet point que tiene esta estructura:

[@LeonidasEsteban]

Apuntate a un próximo code review! Y lo podríamos ver!

[@helloWorldPlus]

Hola Leonidas! Cuando habrá un próximo code review?

[@helloWorldPlus]

Leonidas, por cierto, yo soy economista y trabajo en el rubro de data science en Lima. Estoy pensando migrar a Canadá por la vía de estudios y pensaba estudiar una carrera que me permita hacer lo que siempre me ha gustado hacer y a lo que quisiera dedicarme el resto de mi vida y es desarrollo web. Yo tengo conocimientos de programación Y también he trabajado algunos proyectos web con react pero por el trabajo siempre tengo que dejarlo de lado. Ahora mi preocupación es si estudiar una carrera de computer science en Dalhousie o un programa de desarrollo web en Nova Scotia Community College me van a sumar en términos de empleabilidad considerando que terminaría la primera carrera a los 35 o 36 y la segunda a los 33 (pero fácil me metería a la carrera profesional tras la del college al obtener la residencia permanente). Cuál sería tu apreciación al respecto?

[@luislobe]

Soy el único que no entiende bien lo que dice (ciertas palabras) llevo 1 min ?? Bueno, le daré 10 mins a ver si entiendo ya que tiene buenos comentarios, solo abre bien la boca al hablar XD

[@lerois290]

Python chau , HOLA puputerrr o lo aue sea

[@LeonidasEsteban]

jajaja muy bien, hola JavaScript