Scrapy Web con Javascript. 🔎 - Tutorial de Puppeteer

En este vídeo descubrimos una de las librerías más impactantes para recuperar información de cualquier página web o para automatizar nuestras pruebas, puppeteer.
Gracias a la utilización de sus sencillos métodos vamos a poder interactuar con cualquier elemento de una página web, desde escribir texto dentro de cualquier campo hasta pulsar un botón seleccionado.
¿Hablamos? Hemos creado un grupo de Slack para poder compartir experiencias como desarrolladores. ¡Te esperamos!
join.slack.com...
Si quieres estar al día de todos los eventos y actividades del canal, puedes suscribirte a nuestra newsletter en la siguiente dirección:
eepurl.com/g1bfxn
También nos puedes encontrar a través de los siguientes métodos:
Twitter: / 10mprogramando

[@DubAvenXP]

utilizar page.waitForTimeout(3000) en vez de page.waitFor(3000) debido a que esta ultima ya esta depreciada

[@kevin94862]

lo que yo uso es waitForSelector, ya que espera a que aparezca el elemento, por ejemplo un div o un h1 especifico y cuando aparezca en el dom recién ejecuta la siguiente acción

[@ralts00]

thanks

[@e.andrescardenassantana9098]

wow! Gracias, compadre. saludos desde colombia

[@Luisito_Silva]

Excelente explicación amigo, me gustaría mas videos de Tutorial de Puppeteer, Saludos.

[@TheGpm81]

GENIAL EXPLICACIÓN. He estado toda la tarde viendo tu vídeo y probando en una web. Estupenda explicación paso a paso y todo muy bien detallado. G-R-A-C-I-A-S

[@juliollina]

jajajajajajajaja no conocio esto lo aprendi en tu tutorial y brutal poder traerte info de una pagina sin necesida de depender de una api ...si quieres utilizar algun elemento pequeño brutallllllllllll jajajajajajaja estoy aprendiendo y me parece una gran herramienta

[@miguelviloria4596]

Que no paren los tutoriales. muchas gracias

[@clauilcap9427]

super agradecido por enseñar esto, me sirve para un proyecto con una ONG que audita las votaciones de un congreso. Es decir tenía la info de la web pero no tenían API y los informes eran, hasta hoy, manuales. Ingresaban a la web leían el material, la sesión cuatos asistieron, cuantos votaron, etc; todos los datos de un congreso... Ahora que tengo la info voy a hacer lo más aburrido, con D3.js tratar de armar los informes de manera dinámica y con la posibilidad que la gente vea quien es quien, en diferentes temáticas...

[@gonzalobarberis9238]

Muy buena explicación, me sirvió muchísimo después de tener 384 problemas con selenium

[@extaroth9201]

Acabo de llegar y siento que te amo , >u< Gracias !!

[@carlossalvador1785]

Muy grande Mario! me has salvado de tener que aprender python para hacer web scraping

[@christiandavidnorenavalenc9944]

Excelente explicación. Esa librería Puppeteer es bastante sencilla de integrar e implementar. Algo tan sencillo permite cosas fascinantes, desde rescatar datos de una página web (siempre y cuando las disposiciones legales lo permitan, y siempre y cuando sus propósitos sean éticos), hasta automatizar pruebas frontend. Sería genial que nos compartieras el código fuente del ejemplo en Github. Muchas gracias. Excelente video. :D

[@DevJulio]

Es el mejor video que he visto de este tema, bien explicado. me sirvió

[@juanmanuelduboe5984]

Genio, me encanta la onda que le pones a las explicaciones

[@gustavoangelhernandez1537]

Excelente video amigo, nuevo sub.

[@Rysted]

recién me puse a hacer el bot y acabo de terminarlo, te agradezco muchísimo. estuve buscando por bastante tiempo alguna librería de node que me ayude a hacer esto.

[@javaboy6581]

Pues gracias a este video he podido realizar unos scripts muy chulos que tenia años que queria hacer y no sabia como. Probe puppeteer en raspberry porque playwright no funciona y la verdad muy contento. Me ha encantado y me he subscrito. No se si haras mas videos, pero estaria bien si pudieras actualizarlo para ver como aceptar las cookies de los sitios y que se queden guardadas las preferencias, porque tengo varios que siempre tengo que andar pulsando para que se vea. SALUDOS Y ENHORABUENA POR EL PEDAZO DE VIDEO.

[@gerdebur]

Buenísimo!!

[@Letoiii]

Ahora sí que me he enterado del asyncawait, 🎶 jajajjaj. Esta librería me va a venir muy bien para el proyecto, muchas gracias 👍

[@10MinutosProgramando]

No hay nada mejor que una buena canción para aprender las cosas , ya lo decía Miliki 😁

[@hardysd]

Muchas gracias por tu clara explicación !!!

[@josueoblitas984]

jajaja que buens entido del humo! +1sub

[@larubiano0]

Muchas gracias, muy bien explicado y rápido

[@missanddiie]

Muy buen video, nuevo sub, gracias bro

[@lucianozurdo5685]

UN CRACK, super claro y conciso, amé.

[@felipe3966]

Al fin coñoooo!! Un video decente explicando las utilidades de puppeteer en la practica. Si a esto le sumas puppeteer-cluster, puedes hacer unas maravillas desvergonzadas

[@christiandavidnorenavalenc9944]

¿Cómo cuáles? A menos que me demuestren lo contrario, no veo que hacer Web Scraping sea un asunto de seguridad grave. Muchas gracias.

[@felipe3966]

@@christiandavidnorenavalenc9944 hola, en que minuto dije yo que era un asunto de seguridad grave?

[@christiandavidnorenavalenc9944]

@@felipe3966 ¿Entonces qué quisiste decir con maravillas desvergonzadas?

[@felipe3966]

@@christiandavidnorenavalenc9944 es una hipérbole, es más dificil detectarlas por chat asi que entiendo la confusion, dejare la definición aqui abajo. "La hipérbole es un recurso estilístico literario que consiste en la exageración de cantidades, cualidades y características. Es utilizado con frecuencia en el ámbito literario, en el lenguaje coloquial y en propaganda comercial y política, además de textos y bromas humorísticas."

[@miltonchiico]

Muchas gracias, voy a intentar implementarlo dentro de mi app!

[@jesuscajape1595]

Gracias Capo

[@GabrielC1325]

Increible, muchas gracias!

[@DolfHandler]

Que genial!! Esto tiene miles de aplicaciones

[@10MinutosProgramando]

Con esto te haces con el control del mundo :)

[@DolfHandler]

@@10MinutosProgramando ya veo. esto es parecido a algo que utilicé antes en java, una clase llamada Robot

[@ClashRoyale-xn5uh]

Crack dios ídolo

[@jymmyneutron7262]

Justo lo que necesitaba 🤣🤣🤣. Gracias Mario

[@10MinutosProgramando]

A triunfar en el mundo del robo de datos 😜 jejejeje

[@ArielHeavyMetalero]

hubiese sido genial que compartiera el codigo en un repo, crack.

[@christiandavidnorenavalenc9944]

Eso he esperado yo también. Ojalá él se regrese a ese video, y nos comparta el código fuente en, por ejemplo, Github.

[@ralts00]

Gracias :) tu video me sirivio muchisimo, saludos desde México!

[@ralts00]

Ya anda un poco desactualizado :( El waitFor es nuevo y no lo entiendo muy bien y headless: 'new' Espero puedas actualizar, saludos

[@josuerodriguez7546]

Excelente, muchisimas gracias!

[@jesushurtado1560]

Excelente video! Muy bien explicado

[@10MinutosProgramando]

Gracias 🤩

[@ouamdaogo]

Gracias, muy bien, eres un buen maestro.😊😊😊

[@rogerx005]

Hola, lo que yo necesito es hacer exactamente al revés. Hay un sitio que te da toda una base de datos con un iFrame con un vídeo, con sus tags para ese vídeo, su título, su videos relacionados, thumbnails, absolutamente todo para que repliques su contenido y ellos ganan por las suscripciones que les llevas. Pero son cientos de miles de registros. Quisiera crear una página por cada registro y que se haga automáticamente porque si tuviera que hacerlo a mano tardaría miles de años. Si pudieras explicar cómo hacerlo sería más que genial

[@vvalenmaldonado]

Sos un genio, me encanto como explicaste todo lo entendí super bien, muchas gracias!

[@maximojuniorapazachirhuana9641]

Esto es brutal muchas gracias bro

[@Joselu161]

Eres un grande tio. Muchas gracias!

[@10MinutosProgramando]

Gracias a ti por verlo :)

[@NoOne-zl4qb]

Grande, maestro.

[@10MinutosProgramando]

Gracias

[@tomascarignano5002]

Muy util. Muchas gracias!

[@alejandrosaizotero8980]

Espectacular,, como SEMPRE

[@10MinutosProgramando]

Graciasss

[@rapustin]

Gracias como siempre por compartir su poderes! :)

[@10MinutosProgramando]

Gracias por verlo y comentar :).

[@institutohospitalario495]

Buen video. Para ejecutar en ambiente windows pudiendo ejecutar desde un scrip de java scrip, en donde deberia instalara la libreria puppeteer?

[@EmanuelAGomez]

tremendo

[@saintsain]

Hola muchas gracias, excelente video, estaria super interesante un video de como combinar puppeteer con angular, para realizar todos estos proceso desde una interfaz. Saludos

[@10MinutosProgramando]

Hola. Normalmente todo este tipo de acciones se suelen llevar a cabo desde la parte del back, hacerlas en el front no es muy recomendable

[@saintsain]

@@10MinutosProgramando Muchas Gracias, muy bueno su consejo, lo tendré en cuenta

[@christiandavidnorenavalenc9944]

@@10MinutosProgramando Me gustaría saber por qué no es recomendable utilizar Puppeteer desde frontend. Muchas gracias.

[@10MinutosProgramando]

Si vas a hacer scrapy web, lo suyo es hacerlo sin necesidad de utilizar una interfaz. Si vas a probar una aplicación, ahí sí puedes usar la librería en el front

[@MarielHaarth]

Que bien explica!!!

[@10MinutosProgramando]

Gracias!!

[@samuelangeles2715]

Buen video Mario

[@antxoneguiguren6904]

Muy bueno Mario!

[@10MinutosProgramando]

Gracias!!

[@andrebejarano4932]

tengo una duda, tengo un select con una lista(ul), y quiero hacer click sobre cada uno de los elementos de la lista, como tendria que hacerlo?

[@casanaygt]

Muchas gracias por el video muy bueno. Tengo un error que no e podido solucionar: Error: Could not find expected browser (chrome) locally.

[@luispacheco3500]

Buenisimo video

[@macheterroto]

En el caso que desee ingresar a una pagina como linkedin es necesario registrarse , como podria usar un navegador que yo quiziera y no el que viene por defecto, me seria de mucha utilidad una respuesta ,Gracias!

[@Storge06]

Como hago después para ejecutarlo en una web cuando alguien haga clic en un boton, siempre me sale que el require no es una funcion definida js ?

[@pahoolk]

Excelente video! cómo puedo traer todos los links de un div en específico usando pupeteer? P.D. tutorial de como poner así de linda la terminal! Gracias eres un grande!

[@mgleonardo1]

buen video amigo!!

[@10MinutosProgramando]

Gracias!!

[@anonymushadow282]

Tengo mis dudas de que tan legal es recopilar info. Con web scrapping para análisis de competencias, no me interesa vender los datos ni nada pero cuando estoy haciendo una página necesito hacer un análisis de competencia y me lleva demasiado tiempo y quiero ahorrarme tiempo

[@juang2633]

Eres un crack!!!!!

[@10MinutosProgramando]

Graciass

[@martinaferrer828]

Buenas estoy empezando a trabajar con esto, he visto tu vídeo que me ha ayudado un montón, me gustaria saber como puedo hacer scroll hasta el final de la página, he mirado cosas pero no lo consigo. Gracias.

[@yuoutoube]

Amigo un aconsurta.. si yo hago un api.. el sigue funcionando normalmente o tiene que ejecutarse en una interfaz grafica para capturar los datos??

[@federicodariosanchezromero4423]

Hola, cuando pongo el codigo para yo ver el navegador, amazon quier verificar que no sea un robot. Como puedo evadir eso?

[@GuillermoDelVecchio]

actualmente te obligan a usar "puppeteer": "^5.3.1" xq otras versiones tienen un bug de seguridad

[@federicoavalos1742]

Hola, gracias por el video. Una consulta, subís el código en algún lado?

[@na81cho]

Como se le podría poner una lista especificada que busque , ejemplo, tv, microondas etc

[@TheJaviercrafter]

Aunque ya os digo que a mi me impresionan cosas de mierda Crack !!!!!!!! me encanto Jajaja creo que es justo lo que estoy buscando, ya habia usado puppeteer antes pero ahora mismo estoy perdidisimo por no haber seguido usandolo

[@martinbrisset]

Gracias capo

[@jonathancoder]

eres la leche tio es flipante, pero como mseria con paginacion o con catcha?

[@10MinutosProgramando]

Habría que mirar e investigar cada caso en concreto, no hay una solución genérica

[@juandavidblancovergara1882]

tengo una pagina que por más que busque y meta codigo y cumpla con los parametros de scrapeo que uso en otras paginas, ésta no se deja scrapear y hago el awaitForSelector y luego type al id donde está el input para escribir y no hace nada y aparte se queda ahi hasta que la consola dice: TimeoutError: waiting for selector `#rcp-zipcode-check` failed: timeout 30000ms exceeded. He intentado de todo con este pagina y no se deja scrapear, saben algo que me puede ayudar?

[@nicolasgaleano6481]

como hago para que mientras se ejecuta el rpoceso yo vea la pestaña del navegador mientras se ve la ejecución? he visto personas que hacen eso

[@celestepardo5630]

Hoy 5 de mayo ya no funciona con amazon.

[@jaben1824]

Te amo bro.

[@tedesco888]

Me encanta pa, es una herramienta supe útil. Consulta: como puedo hacer para obtener desde un servicio de api el string con el nombre del articulo o categoria que busca el usuario y pasarselo al script? en mi caso tengo dos scripts que raspan dos dominios diferentes, la idea es tener mas y lo hace metiendo los datos en caliente no mas, yo quiero hacer dinamica la busqueda. Quizas estoy armando mal mi arquitectura, agradezco el contacto.

[@bpm88]

hola buenos dias estoysiguiendo el video pero en la captura de amazon3.jpg me da el mismo resultado que en la captura de amazon2.jpg estoy mirando que todo lo tengo igual pero parece que no me funciona. Alguien sabría decirme que estoy haciendo mal??

[@miguelestanga6256]

no se ejecuta en win 7 estoy usando node 14,17

[@300dpi]

Muy buenas, ¿a alguien más le dice que npm no se reconoce como un comando interno? No me deja instalar puppeteer. Muchísimas gracias, y agradezco el esfuerzo dedicado a expandir tus conocimientos.

[@10MinutosProgramando]

Si te ocurre eso es que tienes mal instalado node y por eso no tienes npm

[@andersonmacias9761]

Que hago cuando me suelta permisos de cookies?

[@maximojuniorapazachirhuana9641]

Algo que siempre me parecio curioso como podria resolver un captcha

[@10MinutosProgramando]

Es complicado. Hay servicios que te permiten hacerlo, pero no es fácil

[@marcio7656]

Saludos maestro, probé tu metodo y efectivamente es posible hacer Web Scraping a paginas web tradicionales, pero no es posible hacerlo a paginas como KZbin, ni mucho menos a los chats de este sitio. El metodo que enseñas aplicandolo a KZbin no devuelve el html de este sitio o al menos no lo devuelve completo, porque no es posible encontrar determinadaas elementos o clases de este sitiio. Tienes alguna solución para enmendar ese problema para hacer Scraping a sitios como KZbin? De antemano gracias

[@otnielperez7931]

saludos, hay una manera de abrir el inspector de elementos usando puppeteer? gracias

[@armandocomellas9639]

Estimado estoy usando un proveedor de hosting y de dominios y mi plan no me incluye node.js como puedo hacerlo sin node.js?

[@10MinutosProgramando]

No lo sé, con python también se podría

[@aliciaayalaramirez391]

Hola excelente explicación... Tengo una duda como puedo descargar un PDF cuando su URL es dinámica?

[@EnBuenChileno24]

Una consulta: ¿A que se deberá que a veces funciona y a veces no? ¿A quien mas le pasa? Incluso pensé que era el cookie que te pone amazon al principio, pero tampoco. Sera que te bloquean momentáneamente para evitar ataques?

[@jhonnyramirezzeballos9106]

Algunos detectan si están haciendo scraping en su sitio, por lo que momentánea te bloquean.

[@miguelangelrodriguezgomez2138]

Que tal esa muchachada, bueno primero decirte que soy un poco mangurrian picando código, no soy muy pro. Siempre sacas muy buen contenido y muy bien explicado, decirte que últimamente me paso muchas horas engüerando en el ordenador a causa de este virus demoniaco, ya que no salgo mucho, cuantas horas recomendarías como como máximo?? . Como nota decirte que tengo puesto el filtro de luz azul en la pantalla para que no se me canse demasiado la vista. Un saludo amigo.

[@10MinutosProgramando]

Lo primero de todo. Me gusta mucho el concepto engüerar, lo uso muchísimo 😁. Lo segundo, piensa que hay gente que trabaja programando, así que mínimo se tira 8 horas al día picando código. Depende de lo que necesites. Creo que es más importante la buena organización y el contenido de calidad que pasar muchas horas frente a la pantalla. Mucho ánimo!!

[@miguelangelrodriguezgomez2138]

@@10MinutosProgramando Muchas gracias, lo de engüerar lo aprendí en uno de tus vídeos xd. Un saludo y suerte.

[@10MinutosProgramando]

Ah bueno, entonces estoy marcando tendencia jajajaja. En los próximos vídeos voy a explotarlo más

[@bhurtado22]

por que las capturas no se muestran completas

[@10MinutosProgramando]

Qué quiere decir completas? Son capturas de la parte visible del navegador

[@AlfonzoM96534]

Felicitaciones excelente video, una pregunta cómo se podría hacer Scraping sobre la página pero en fechas anteriores o históricas ??

[@top10series4]

con web.archive.org

[@AlfonzoM96534]

@@top10series4 ok, muchas Gracias

[@Sephiroth1x1]

Una consulta, cómo puedes extraer algún dato de la descripción. En esa parte hay mucho texto y sin etiquetas. Cuál sería una solución si quieres por ejemplo extraer la garantía del producto sabiendo que la escriben dentro de la descripción entre otro mucho texto.

[@jhonnyramirezzeballos9106]

Expresiones regulares.

[@sacris89]

Buenas, ¿Como hago para descargar las imagenes de una web y guardarlas en el equipo del usuario? Muchas gracias,

[@10MinutosProgramando]

Con axios o got puedes descargar imagenes

[@fernandomatias7585]

Hola, Espero que estés muy bien tu y tu familia. tengo una duda, estoy escrapeando una pagina que sus nombre de clases están capitalizados hay algún problema con eso? porque escrapeo otras que no lo están y si me encuentra las clases, solo me da error con las clases capitalizadas.

[@10MinutosProgramando]

Hola. Es un poco extraño. Has probado a buscarlas en minúsculas??

[@kodama1400]

Que utilizas para que te abra y muestre con el navegador?

[@christiandavidnorenavalenc9944]

Al llamar el método launch, pasas como argumento un objeto JSON, donde seteas headless = false (puppeteer.launch({headless: false}))

[@valentinsimon100]

puedo usarlo en Win7?

[@francis6418]

Alguien sabe si usando puppetter en Amazon pueden banearme la ip? Se debería de usar un proxy para evitar ban?

[@dankdiego69]

"No sean chorizos" jaja que grande

[@10MinutosProgramando]

No es bonito robar

[@vhpm18]

Excelente video hermano, saludos, una pregunta, con paginas hechas en vue.js o reac.js, donde se va actualizando de acuerdo a un evento se prodria utilizar y obtener resultados tan favorables con estos que estas mostrando

[@10MinutosProgramando]

Supongo que sí, pero creo que es una tarea bastante costosa de tiempo y recursos como para hacerlo en el front

[@vhpm18]

@@10MinutosProgramando que me recomendarías

[@10MinutosProgramando]

Disponer de una app de back que se encargue de hacer ese trabajo

[@NWqwerty]

ya me incribi a tu canal de slack, pues mira que quería hacer scrapingweb,,, de una web, usando scrapy y selenium, pero me salio esto, me gusta python pero la idea de tener todo casi nativo con puppetter y las devtools es interesante sobretodo a la hora de implementar un control de juego en js... bueno pero dejando eso de lado, tu sabes si uno quiere escrapear una web digamos con un link www.hdhdhd.ev/$VARIABLE/ y luego tirarle a una variable desde 0001 a 5330 que se vaya metiendo a esos links y scrapeando info y que vaya incrementando en 1 es eso posible declarando la variable y ponerle un incremento y ya ? :p es que no quisiera entrar seleccionando xpath o cosas así porque no esta el que yo quiero sino hacerlo de forma lógica desde los links web que encuentre y scrapeando la info no se si me explico un saludo.

[@jorgeeduardoariasacevedo9599]

sera mas rapido que selenium?

[@10MinutosProgramando]

No creo

[@releveitcandol1995]

amigo ami no se me installa me arroja un error npm ERR! A complete log of this run can be found in:

[@10MinutosProgramando]

Ese no es el error. Ahí falta información

[@releveitcandol1995]

@@10MinutosProgramando Amigo ya lo resolví con esta pagina, hice esos pasos y me solucionó el error aqui la dejo por si alguno le pasa dev.to/rishiabee/npm-err-unexpected-end-of-json-input-while-parsing-near-743

[@gonzalopalmer9414]

Es posible darle un listado de sitios a buscar o solamente acepta un enlace???

[@10MinutosProgramando]

Todo es posible

[@marioe6835]

Se puede usar en un servidor con Node js?

[@andersonmacias9761]

Si

[@AlfredoTakazuBermudez]

Tranquilo Mario, a mi también me suelen sorprender cosas de mierda jajaja

[@jesushurtado1560]

He estado toquetando el puppeteer. Alguno sabe como darle click a un elemento html de entre varios? lo unico que cambia es el contenido

[@gonzalobustamante1456]

Seecciona todos los elementos de ese tipo, por clase o por nombre de etiqueta, luego puedes seleccionar cada uno por su número de indice, por ejemplo, docucument.getElementsByTagName('a')[2].click()