Tutorial Web Scraping con Scrapy en Español - Parte 1

Tutorial Web Scraping con Scrapy y Python, vamos a extraer de datos en MercadoLibre.
Github: bit.ly/2UAk25T
Blog: bit.ly/luisrami...
Espero y les guste este tutorial de web scraping en español de como extraer información o bajar datos de MercadoLibre, que de igual manera puedes usar el proyecto para otro tipo de extracción de datos en otros sitios web.
Si tienes alguna sugerencia de otro tutorial de extracción de datos en otro sitio web usando web scraping con Scrapy y Python, con todo gusto proponla, para ver si lo subimos a Github o tambien hacer un video tutorial.
** AVISO: El contenido del video es con uso educacional, todo lo que se realize con lo aprendido en este tutorial, cae toda responsabilidad en la persona que le da un mal uso **

Muchísimas gracias Luis, he aprendido a hacerlo sabiendo 0 de programación. Eres el mejor!

[@luisdev1630]

Que bien que te sirvió, Saludos!

[@christian.taipe11]

En el entorno windows, para activar el entorno virtual deben escribir Scripts\activate.bat. Les dejo la fuente: stackoverflow.com/questions/8921188/issue-with-virtualenv-cannot-activate. Gracias por el tutorial :D

[@nocopyright6394]

gracias :D

[@josue316]

excelente video! saludos a Yamir Hongito

[@valentinrodriguez7716]

Una eminencia de tutorial...sigue asi.

[@luisdev1630]

F2TC Academy Network gracias, que bueno que te sirvió. Saludos

[@alemazzuca]

Excelente proyecto, funcionó para ML Argentina. El unico problema que detecté es que no hace avance de pagina.

[@luisdev1630]

Es raro, a lo mejor cambio el código donde está la paginación. Saludos!

[@alemazzuca]

@@luisdev1630 Cambiaron la class del "pagination", pero como tampoco me aceptó la nueva class, agregué lo siguiente en Rule(LinkExtractor(allow=['Desde'])), para que vaya pasando de una pagina a la otra. Asi funcionó.

[@luisdev1630]

@@alemazzuca que bueno que funcionó. Si puedes aportar ese cambio al repositorio, con gusto lo pruebo y lo acepto para que todos puedan usar el código y tengan la última versión

[@alemazzuca]

@@luisdev1630 Ahi lo acabo de hacer. Lo probé en el sitio de argentina y funcionó, espero que con el de mx tambien. Además corregí tipo, marca, modelo y ventas_vendedor. Espero que funcione la branch!

[@luisdev1630]

@@alemazzuca en cuanto tenga un tiempo lo acepto, muchas gracias

[@ivangutierrez4135]

Muy bueno y muy buen explicado.

[@luisdev1630]

Ivan, que bueno que te sirvió, gracias por comentar.

[@pandasaspd6588]

Cambia algo que este usando python de 3 y no 2??

[@moneyadmin]

Gracias Luis, Excelente Tutorial.

[@luisdev1630]

Que tal Jesus, que bueno que te gusto.

[@moneyadmin]

Hola Luis Gracias por responder. ¿Podrías dar el dato de como hacer el ingreso a una BD Mysql.?

[@luisdev1630]

La verdad te quedo mal, ya que nunca he realizado esta opción, lo único que puedo facilitarte es la documentación oficial de Scrapy para los Pipelines (docs.scrapy.org/en/latest/topics/item-pipeline.html#write-items-to-mongodb) pero usan Mongodb. Ojalá y te funcione. Saludos!

[@moneyadmin]

Gracias Luis. Ya lo pude cuadrar fue complicado pero funciona 100% con MySql

[@luisdev1630]

Muy bien Jesus, que bueno que lo lograste. Saludos!

[@camacarojavier]

Hola Luis, gracias por este tutorial. Tu crees que se pueda hacer lo mismo con walmart?, la veo super dificil

[@reikofact]

Que tal! Excelente proyecto, aunque me surge la siguiente duda: ¿cómo se pueden scrapear las páginas para obtener los datos de las ventas, con un usuario logueado? De ser posible me gustaría como propuesta para un tutorial actualizado, saludos!

[@AlojamientoCantabriaPuntoNet]

Esperando nuevas actualizaciones saludos desde España

[@luisdev1630]

Espero poder tener más tiempo para hacer muchos proyectos, pero estoy en la época donde hay trabajo de todo Haha, espero hacer algo pronto !

[@adrianomarino8484]

genio!, gracias por compartir conocimiento, pero no me ha quedado clara una cosa... sera posible mantener sincronizado el stock y los precios de todos los productos que scrapeo? o solo tengo la posibilidad de pasarlo a un CSV? en mi caso necesito llevar la publicaciones de ML a mi tienda online, y mantener las actualizaciones de precio y stock sincronizadas tanto en ML como en mi sitio web.

[@luisdev1630]

Que tal, si tú eres el propietario de los productos tanto en mercado libre como en tu sitio web. Creo que deberías de leer la documentación de la API de mercado libre, creo que sería mejor. Esto de scrappy es para extraer data que no tienes acceso a una API. Pero en tu caso si eres duseño de los productos en mercado libre, es mejor como te digo. De igual manera si aún así quieres usar este método que explicó en los vídeos, puedes hacer otro scrpit de Python que actualice tu base de datos directamente, hay varias maneras de hacerlo. Saludos.

[@sfrgvh]

Hola Luis, Muchas gracias por el tutorial! es de gran ayuda!. Te comento que necesito extraer un texto de una página de reclamos pero cuando ejecuto el spider limita la extracción hasta las etiquetas que la página agrega al texto. Por ejemplo: Estimados,Soy otra afectada por la decisión unilateral del banco de no respetar el refinanciamiento Express ofrecido en SEPTIEMBRE del 2019 El csv lo construye sólo con el texto "Estimados,Soy otra afectada por la decisión" y se detiene en la etiqueta unilateral Te comento además que xpath helper muestra como si se seleccionara todo el texto independiente de la etiqueta Hay alguna forma de omitir esta detención de la extracción por la etiqueta de manera de obtener el texto completo?

[@luisdev1630]

Mm seguro que estás intentando extraer la clase "reclamo-texto-principal" ? Con xpath puedes la clase css. No deberías de tener problemas. Posibles soluciones externas: - Intenta quitando "text()" si lo usas, esto va a guardar el HTML puro en el Excel y después limpias el código en el Excel con otro script. - Usar dos campos uno para el texto principal y otro para los span y después con otro script los juntas Bueno es lo que se me ocurre, no debería de darte problemas si haces extracción de la etiqueta padre, no sé si existe una configuración en scrapy para hacer eso. Ya es cosa que busques más a fondo. Saludos

[@sfrgvh]

@@luisdev1630 Muchas gracias por tu respuesta. Te comento que el problema lo tenía con el normalize space. Lo quité y listo. aunque no extrae el texto etiquetado. Sin embargo quité además text() y ahora extrae todo, incluso con el script de etiquetado, pero eso es posible limpiar a posteriori. Abrazos!

[@sfrgvh]

No fue necesario limpiar, se soluciona colocando //text en reemplazo de /text() saludos!

[@alehop1223]

Buenas luis. Conoces algún software o framework que permita obtener información a partir de reconocer distintas imagenes o figuras en la pantalla? por ejemplo si quiero hacer un simulador de conductor de coche, algun programa que reconozca las señales de trafico que aparezcan en la pantalla y les asigne valores

[@luisdev1630]

Creo que es algo avanzado, pero he visto que se puede hacer con TensorFlow, busca en Google "tensorflow image recognition" y podrás encontrar varias opciones. Saludos

[@Gamotlisss]

se puede hacer web scraping en los mercados financieros con scrappy por decirlo en tiempo real pero sin ser bloqueado...o hay algun tipo de problema que exp tienes en este campo seria genia un video de este tema gracias por tus conocimientos.

[@luisdev1630]

Si es una web puedes hacer Scraping. No tengo experiencia en mercados financieros. Primero deberías investigar si hay APIs públicas, por qué e sin tema que posiblemente exista, de está manera no tienes que pasar por Scrapy. Saludos.

[@Gamotlisss]

mmmm pero si por ejemplo el precio esta en la pagina principal y no tiene api ..mm no se podria hacer o no seria necesario..perdona mi ignorancia estoy investigando..

[@luisdev1630]

@@Gamotlisss si necesitas la información y no tiene API, podrías hacerlo

[@Gamotlisss]

@@luisdev1630 ohh gracias por tus conocimientos voy a darle con pruevas gracias.

[@crashmw1]

hola buen tutorial explicas muy bien una consulta como se podría hacer scraping si tengo una pagina que necesita login me puedes ayudar

[@luisdev1630]

Que tal, nunca he realizado algo así. Creo que en la documentación viene algo de esto. Podrás ver la documentación de scrapy. Saludos

[@lexh7714]

buen tutorial, solo me preguntaba , como hacer con el infinite scroll? , si la página en lugar de tener un botón que diga "next" lo que usa es infinite scrolling ? hay un modo de decirle que baje hasta x cantidad de data colectada ?

[@luisdev1630]

Que tal, creo que en la documentación dice algo de eso, la verdad yo no lo he usado, pero estoy casi seguro que en las nuevas versiones de Scrapy debe de haber algo contra eso. Saludos!

[@carlosromero5077]

excelente video amigo algun correo para contrarte para un proyecto similiar para amazon

[@ivandangelo3503]

Hola una pregunta, quiero usar scrapy para hacer esto, vvcap.com/dw68BZ0Qa, pero me tira el error: ModuleNotFoundError: No module named 'scrapy', ya lo tengo instalado pero nose como importarlo correctamente

[@marycarmencuecuechamunoz7676]

Disculpa para hacer scrapy en paginas php es el mismo procedimiento o cambia en algo!?

[@luisdev1630]

Mary Carmen Cuecuecha Muñoz no importa el lenguaje de programación, lo que importa es saber usar bien los xpath del DOM, para extraer la información que deseas

[@marycarmencuecuechamunoz7676]

LuisDev y si solo necesito una regla? Porque toda la información esta contenida en solo una página pero me marca error

[@luisdev1630]

Mary Carmen Cuecuecha Muñoz solo usa una regla, no pasa nada solo es cuestión de configurar bien

[@marycarmencuecuechamunoz7676]

@@luisdev1630 y para obtener la latitud y longuitud es lo mismo ?

[@luisdev1630]

@@marycarmencuecuechamunoz7676 qué tal, no entiendo a qué te refieres con latitud o longitud, esta información está en texto plano en la página que deseas obtener, si es así puedes extraerla. Si es dinámica es posible que tengas que usar algo extra. Saludos.

[@abelardowillibaldoramirezg1966]

Hola Luis, me agrado mucho tus videos y me fueron de mucha utilidad, queria pedirte un favor, no se si puedas ayudarme con un proyecto de la escuela que tengo y esto atorado, hacer scraping con la pagina de vivanuncios lo he intentado hacer pero la verdad no me sale, el scraping horizontal lo hace pero el vertical no. Saludos

[@luisdev1630]

Que tal Abelardo, claro a lo mejor puedo ayudarte, sube tu proyecto a Github y pasame enlace, para ver en que andas mal. Saludos!

[@abelardowillibaldoramirezg1966]

Hola Luis te dejo el enlace del proyecto, ya he podido hacer el scraping www.dropbox.com/sh/tklygac6t7hfokm/AAC0htUHG0d7jBrprOUqTNl7a?dl=0. me gustaria ver si puedes ayudarme a separar el contenido del campo coordenadas, {lat: 24.834385, lng: -107.38965 }, he leido que se puede hacer con Beautiful Soup y con MapCompose, solo que no entiendo muy bien como funciona, saludos

[@luisdev1630]

Que tal Abelardo, la verdad no se como podrías separar la variable que aparece "var centerPos = {lat: 24.834385, lng: -107.38965 }" lo que se me ocurre es separarlo ya en Excel, hasta con un buscar y remplazar. Saludos!

[@boykathepriest7805]

selenium no me puede ayudar, estoy tratando de saltarme los captcha(no soy un robot) ¿alguna sugerencia?

[@reikofact]

¿Te refieres al captcha de login? En ese caso creo que no se puede saltar por que la autenticación de ML pues es de dos pasos, me parece que eso se puede cambiar en los ajustes de la cuenta. Por otra parte, si te apareció un captcha porque detectó acceso automatizado, entonces es otra cosa. Algo similar me pasó con Amazon usando BeautifulSoup, lo que hice fue guardar el contenido la página que daba ese captcha en un archivo.html, lo abrí en un navegador, respondí el captcha y ya pude continuar.

[@yufie1644]

no puedo activar el entorno virtual, no existe la carpeta /bin ni tampoco me reconoce el comando source. Estoy usando python 3 y windows 10

[@luisdev1630]

Por que estas usando Windows 10, es por eso que no existe la carpeta "/bin" esta carpeta es para Linux tendrás que buscar un tutorial de como usar Python 3 en Windows 10, la verdad no se como usarlo en Windows, solo en Mac y Linux. Busca aquí en los comentarios, hay unas personas que ya pudieron solucionar esto. Saludos.

[@daniellm2451]

github.com/mgaitan/preciosa/issues/89 Esto te puede dar una pista

[@niconico-cg6mp]

Eso se puede hacer para todas las paginas o solo para algunas q tienen vulnerabilidades?

[@luisdev1630]

ali ba se puede realizar a casi todas páginas, muchos programadores usan técnicas para evitar este tipo de herramientas, pero hay muchas páginas web que si se puede usar.

[@cursos_enlinea]

Tengo problemas al ejecutar scrapy, comando no reconocido..

[@luisdev1630]

Que tal, creo que ese error es por qué no reconoce scrappy, intenta configurar de nuevo tu proyecto y las dependencias. Saludos.

[@diego.coder26]

Hola no hay problema en utilizar scrapy para obtener productos de amazon ? tengo entendido que amazon te bloquea a una cierta cantidad de peticiones

[@luisdev1630]

La verdad no sé qué tan restringido este Amazon. Y claro que debe de tener límites, como todo. Saludos.

[@diego.coder26]

Hola ya sé porque me bloquea amazon, tengo que rotar el súper agent y utilizar proxy, tienes algo con esa configuración? Saludos

[@luisdev1630]

@@diego.coder26 Que tal, nunca he manejado con Random Agent, pero puedes ser algo como esto: techmonger.github.io/62/example-scrapy-fake-user-agent/ con cuestión de rotación de Proxys, yo he usado esto pero en otro proyecto, solo sería cuestión de ver como adaptarlo github.com/constverum/ProxyBroker Saludos.

[@ithalik]

Me sale el siguiente error: Scrapy 0.24.4 - no active project Unknown command: crawl Use "scrapy" to see available commands ¿Como puedo solucionarlo?

[@luisdev1630]

Ithalik Productions lo más seguro es que no está bien configurado scrapy, iniciaste el proyecto desde cero?

[@ithalik]

Si,lo inicié desde cero con tu tutorial,pero la instalación la hice con anaconda en su ultima version y scrapy en la 1.5.0 Lo unico que cambia es el sitio web que quiero scrapear y la instalación como te he comentado antes,el resto está exactamente igual. ¿Como lo puedo solucionar? De todas formas te he escrito en tu github,tambien sobre este tema :) Gracias por tu pronta respuesta!!

[@memor1481]

buenas tardes, una pregunta, con Scrapy es posibe tambien escanear una grafica que me de una pagina web?

[@luisdev1630]

Que tal, esa pregunta no la puedo responder. Que tipo de gráfica? Una imagen (si es esta opción si puedes descargar)? La gráfica es generada con alguna librería de javascript (si está el código en el HTML) puedes usar este código y crear tu propia gráfica.. la pregunta es muy ambigua para poder responder. Hay muchas opciones que puedes hacer. Si de plano ninguna de estas soluciones, puedes buscar si Scrapy toma screenshoot o crear tu propio scrpit en Python para hacer esto. Saludos.

[@memor1481]

@@luisdev1630 antes que nada gracias por tu respuesta, tengo entendido que el sitio web usa html5 para generar la grafica, ya que primero uno selecciona el producto y despues de seleccionarlo te muestra su precio historico, ya una vez cargada la grafica se puede interactuar con ella, yo en si lo que querria es extraer los datos de los precios historicos de dichos productos.

[@memor1481]

cuando digo interactuar con la grafica significa que, puedes ver el precio del producto que tuvo de manera diaria , semanal o anual, entre otras cosas

[@luisdev1630]

@@memor1481 Mm no se si puedas usar Scrapy para eso, deberías de estudiar un poco mas de Selenium selenium-python.readthedocs.io/ a lo mejor esto te puede ayudar a lo que quieres realizar

[@shadowisis]

Podrían subir tutorial PARA Extraer Host telcel por favor, o de como crear servidores para la aplicación de python y tener Internet gratis, gracias amigos

[@luisdev1630]

Que tal, no sé de qué estás hablando. Lo siento no entiendo. Para tener aplicaciones en servidores con Python tienes varias opciones, yo iría por Docker.

[@a.j.g.m.8926]

Hola amigo, aqui en Colombia hay tiendas en ML que trabajan hasta con 1 millon de productos sacados de Amazon, imagino que con algun sistema automatizado como este. Conoces alguna manera en la que esto se pueda hacer? Gracias.

[@luisdev1630]

Que tal, lo más seguro es que exista una herramienta como esas. Pero desconozco nombres o como lo hacen. Saludos.

[@hoyesnoticiamundial5084]

hola, yo tambien busco esta informacion si has encontrado algo o deseas que reunamos la informacion que tenemos me puedes hablar al 573002904872, saludos

[@JuanCRojas-yg1oh]

Hola Luis! Excelente tutorial, gracias por compartirlo. Estoy aplicando tu código para algunos sitios y me topé con un problema, espero puedas tener algún consejo. Dentro de la página del artículo listado, existe un cuadro "interactivo" de comentarios, el cuál tiene varias páginas, pero al pasar de una a otra no se ve alterado el url. Necesito extraer la fecha del primer comentario, lo que implica pasar a la última página de ese cuadro interactivo. Espero me puedas ayudar. Nuevamente gracias.

[@luisdev1630]

Que tal Juan, depende mucho como esté lo que dices que es interactivo, específicamente que página es para ver si puedo ayudarte. Lo más seguro es que el sitio web hace un "request" cuando cargue el sitio web. Saludos!

[@kevinbarrena9843]

@@luisdev1630 En todos los casos que el sitio hace un "request", puede seguir extrayéndose datos? O ahí deja de funcionar este metodo? Tengo que aplicarlo en sitios donde hay mucho javascript de por medio. Saludos!

[@luisdev1630]

@@kevinbarrena9843 una vez que termine de buscar las clases css o xpath el va a continuar con la otra URL, es decir que depende de tu lógica y de lo tardado en encontrar las variables pero es rápido. Si tienes muchos problemas con javascript recomiendo algo como Selenium donde tiene cosas más avanzadas. Saludos

[@formax07]

mastertutos :o

[@feriaciencias]

Mercado libre no bloqueo tu ip?

[@luisdev1630]

A mi no me pasó, pero es claro que sí haces un abuso lo más seguro es que bloquee la IP, para eso puedes adaptar tu script de python para que puedas rotar proxys y agentes de navegadores para que no te bloquee. Saludos.

[@rafaelmauriciobuilesmarin335]

hola que tal, si los datos que uiero extraer de la pagina web se antinen actualizando como hago para que a mi tambien se me actualicen y me diga que porcentaje ha cambiado. Muchas gracias

[@yjjm6599]

Hola Luis, primero que todo agradecerte por el video, es muy claro! Quisiera saber si se puede extraer información de otra forma, es decir: Tengo 2000 códigos de productos, por ejemplo 549ALS. Yo se que ese código es único en la página web en dónde deseo extraer la información, incluso dicha página si uno coloca en enlace así www.paginaweb.com/549ALS abre la página del producto de ese código. Por lo tanto, mi pregunta es si puedo indicar un listado de 500 códigos y Scrapy uno a uno abre el enlace adicionandole el código, y así extraer la información. Saludos,

[@luisdev1630]

Que tal, a mi punto de vista si no existen los enlaces de la manera que lo hice en este video no se puede. Pero a lo mejor ya programándolo con Python si se pueda o hasta publicando un HTML simple con el listado de los enlaces. Creo que existen muchas maneras de intentar. Saludos!

[@startuproject]

Como instalar scrapy en PyCharm?

[@luisdev1630]

Julian Castro nunca he usado PyCharm, la mejor ayuda en este momento podría ser Google.

[@startuproject]

LuisDev Cual ambiente de python me recomienda?

[@malditorockero7]

No logro instalar virtualenv en zsh :(

[@luisdev1630]

Que error te da Alexis? Saludos!

[@malditorockero7]

LuisDev al final lo logre solucionar instalandolo sobre python3, a pesar que en los tutoriales decian que en python2 tambien funcionaba

[@luisdev1630]

Ya veo, lo bueno es que pudiste solucionar. Saludos!

[@malditorockero7]

Jajaja si me habia quedado pegado a los 5 min. de tutorial, haber si hoy avanzo mas

[@inspiracionemprendedor3980]

sería un chile con queso? jajaja nunca había escuchado esa expresión

[@luisdev1630]

Bendito México, jaja expresión típica de algunas regiones de México, disculpa jaja

[@jb7939]

Luis necesito hablar con Usted.

[@luisdev1630]

Jorge Enrique Baron Caceres Que tal Jorge, puedes contactarme por twitter.com/LuisRamirezMe o en mi página hay un enlace de contacto luisramirez.me Saludos

[@chiporgar]

amigo, Necesito de tu ayuda!

[@luisdev1630]

Que tal, en que puedo ayudarte? Disculpa lo tardado, pero KZbin no me esta notificando al correo cuando alguien comenta. En que puedo ayudar? Si necesitas comunicarte por twitter.com/LuisRamirezMe o en mi sitio web luisramirez.me hay una sección para contacto. Saludos!

[@chiporgar]

Gracias, Recién te envie un correo.

[@patocampos20]

hola buenas luis soy seguidor de tu canal, y ahora me encuentro en practica con scrapy pero tengo este error te lo comento "( File "/home/cuco/Escritorio/todo/projecto/projecto1/spiders/sistemax.py", line 4, in from projecto1.items import Projecto1Item ImportError: No module named projecto1.items )" -projecto ----projecto1 ---------spiders --------------sistemax.py --------------__init__.py ---------items.py ---------settings.py ---------pipelines.py ---------__init__.py informacion de scrapy instalado scrapy version -v 2018-02-09 12:08:27 [scrapy] INFO: Scrapy 1.0.3 started (bot: scrapybot) 2018-02-09 12:08:27 [scrapy] INFO: Optional features available: ssl, http11 2018-02-09 12:08:27 [scrapy] INFO: Overridden settings: {} Scrapy : 1.0.3 lxml : 4.1.1.0 libxml2 : 2.9.7 Twisted : 17.9.0 Python : 2.7.12 (default, Dec 4 2017, 14:50:18) - [GCC 5.4.0 20160609] Platform: Linux-4.13.0-32-generic-x86_64-with-Ubuntu-16.04-xenial saludos muchas gracias

[@luisdev1630]

Una disculpa, pero no había visto este comentario. Sigues con el problema? Saludos!

[@MicaelRenner]

lo pudiste resolver?