Saia do zero em Webscraping no Python com Scrapy

[@HashtagProgramacao]

Fala galera! Gostou do vídeo? Deixa a sua curtida e se inscreve no canal! ► Para baixar o Minicurso de Python, acesse: pages.hashtagtreinamentos.com/inscricao-minicurso-python-automacao-org?origemurl=hashtag_yt_org_minipython_QdLgNr1mKQU ► Para baixar os arquivos da aula, acesse: pages.hashtagtreinamentos.com/arquivo-python-12dFWOx9eH1dJH7iEV7vE7AIF1w1Up9FN?origemurl=hashtag_yt_org_planilhapyt_QdLgNr1mKQU ► Para instalar o Jupyter, acesse: kzbin.info/www/bejne/lZauYa1rhsejgaM ► Blog: bit.ly/2MRUZs0 ► KZbin: bit.ly/3c0LJQi ► Instagram: bit.ly/3o6dw42 ► Facebook: bit.ly/3qGtaF2

[@Dinis_666]

o comando pip nao eh reconhecido no ambiente virtual, o que pode ser feito?

[@LuisLima-rc2ls]

Ótimo vídeo, gostei muito. Só tenho uma pequena correção no código, quando for armazenar a avalição os valores se repetem. com isso é coloquei uma variável para contar e ir de índice em índice "'nota': response.css('strong::text')[cont].get()". Coloque "cont = 0" antes do "for" e fiz a incrementarão logo após o final da chave do "yield", que ficou assim "cont += 1".

[@fernandocoelho1334]

Videos de WebScrapping, sempre fazem abrir a mente, dando-nos uma noção de informações que desejamos, mais que para obte-las, é complicado ou exigia uma certa esperteza. Ainda temos a possibilidade de adquirirmos informações a partir de uma planilha e gravarmos em um banco de dados. Ajuda bastante e em algumas vezes é necessário, principalmente quando há um legado. Eu tenho uma necessidade. Estou precisando de pegar todos os bairros de todos os municípios de uma UF. A partir de cada município, que há necessidade de ser escolhido, preciso ler pelo menos o CEP, pois diante deste, existe um pacote Python que mostra o Bairro e no teste utilizado, ele trouxe essa informação a partir de um campo, chamado Distrit.

[@raulfaria07]

Que aula SENSACIONAL! 1 hora de puro conteudo, isso é maravilhoso.

[@guilhermealves-qw4te]

deem mais espaço para este cara lira, o cara é bom e a didática é excelente !!!!!!!!!

[@srkenny404]

Estou integrando numa empresa e o teste técnico é justamente usar o Scrapy e Docker para varrer um site específico. Obrigado pela aula! Me ajudou muito!

[@gabrielsozinho]

Vocês lêem mentes é? Tava pesquisando sobre isso desde ontem. Vocês são muito bons!

[@manobro358]

Enfim o algoritmo.

[@wilsonpalma4458]

Eles não, mas o algoritmo do yt kskskskks

[@JuniorSilva-dl2ex]

Obrigado pelo material, muito bom ver na prática e realmente, é muito simples, minha experiência de desenvolvimento web de 6 anos facilita bastante, mas realmente é incrivel a praticidade do python para esses processos, vou continuar estudando, mas o seu vídeo já me deu fundamentos mais que suficiente para trabalhar processos interessantes. Mais uma vez obrigado e parabéns, inscrição em gratidão.

[@apbluis]

Top...muito obrigado pela ótima explicação...vai me ajudar muito em um projetos que estou desenvolvendo...estou engatinhando no python mas esse canal tem me ajudado bastante a progredir

[@leonardopangaio5574]

Primeiramente parabéns pelo excelente trabalho que o time está realizando. Gostaria de sugerir vídeos com os módulos OS, SYS, PROCESS, SUBPROCESS e outros nessa levada...

[@lairon5545]

Boa garoto, seria top falar sobre essas bibliotecas mesmo ! UP

[@CeramicasJG]

Muito obrigado por esta abordagem à biblioteca Scrapy !!! Excelenteeee e PARABÊNS

[@teamwgss]

Cara estou abismado show de bola, curti muito. Estou ingressando agora nesse mundo e de cara ja vi esse vídeo que só me deixou mais animado ainda.

[@andrevercosa3050]

Excelente vídeo! Ajudou muito! Estamos ralando no trabalho com uma planilha que deve ser preenchida todos os dias com informações de um dos sites que atendemos. Vou puxar essas informações de de forma direta agora.

[@mafer.sa86]

Gentee, que massa essa sequencia de videos de webscrapping arrasaram

[@freedoom4090]

melhor video sobre o tema. Assisti vários e já quebrei muito a cabeça. Vlw! Salvou rs

[@LennWeltmeister]

Webscraping mudou minhavida

[@gustavoco]

MUITO FODA! Obrigado por ir super no detalhe, faz muita diferença para quem está começando!!!

[@felipelandim4619]

Animal essa aula. Já tinha noção de WebScraping e não esperava.

[@leonardoxavier1825]

Muito bom o vídeo! Se pudesse fazer outro vídeo aprofundando um pouco, por exemplo: Ensinando como passar esse csv formatado para realizar analises com o pandas, como realizar scraping em sites onde a lista de informações que eu quero está dividida em várias páginas (pág 1, 2, 3), etc.

[@GianScaglianti]

alguém sabe essa solução?

[@gabrielsalesferreiradasilv981]

@@GianScaglianti eu sei, mas só vou explicar no meu curso

[@windsorramospsicologo2622]

Gostei muito da sua didática. Impossível não compreender.

[@GabrielPraga]

Parabéns o trabalho excelente de conteúdo!!! tenho uma noção de scrapy e agora com esse vídeo me ajudou muito! Obrigado

[@fabiosloan3807]

Show de bola, entendi muito mais do que no curso que eu to pagando e fazendo...

[@sergiolcrezende]

nota máxima em qualidade e conteúdo. Vale a pena assistir.

[@MateusSilva-ic2mj]

gostei bastante,que Deus abençoe vocês e a familia de vocês sempre

[@carlosconde3498]

Muito bom, isso é um grande inicio para projetos maiores, parabéns e obrigado...

[@mateuscastro5593]

muito bom esse vídeo, é o que explicou melhor como funciona

[@arturcamargo6216]

Muito obrigado, seu trabalho é relevante e importante. Aprendi bastante com o vídeo e vai ser bastante útil pra mim

[@gplgomes]

Eu gostei. Ensinou várias coisas. Valeu Candioto, Candidato a vaga do Lira.

[@Mblaanco]

capiroto*

[@kaiquelopes9386]

Meus canais preferidos hashteg programação, curso em vídeo e programando programas

[@leticiabrito7549]

Muito obrigada! Muito explicativo! Espero que façam um com um site que as atualizações são recorrentes! No aguardo!

[@mauriciopc92]

Animal esse scrapy, agradeço a aula completa!

[@ricardomonteiro1803]

Poderia fazer uma aula comparando preço dos produtos de sites diferentes, mostrando quanto custa um produto A em fornecedores diferentes e talvez até fazer um ranking do melhor preço, etc... Parabéns pela aula👏👏👏

[@JulianoDados]

sabe se tem vídeo sobre isso usando python? (vários sites)

[@meninoross]

Muito bom os vídeos de vocês, parabéns!!! Minha dúvida é como fazer isso em um site que precisa de login e senha?

[@cdeliamachado2]

Muito legal. A tua aula é muito boa.

[@Leiras10]

Cara, muito boa aula, muito fácil a maneira como você trouxe o conteúdo, parabéns e obrigado!!

[@MrPaulopspm]

Mano kkkkk que daora isso. Valeu pelo vídeo. Entendi a importância de criar um ambinete virtual tbm

[@garotodoprograma]

Cara que show, eu amo webscraping, mas não conhecia o scrapy, muito show seu vídeo cara, Sucesso!

[@fabiosandro3290]

Meus parabéns pelo excelente vídeo 👏👏👏

[@ferakafs]

JOvem do céu. Conteudo muito topp

[@helintongustavo9049]

Muito bom conteúdo! minha primeira experiência em webscraping, obrigado.

[@BrunoSantoSoares]

Muito bom Candioto!!! Obrigado por compartilhar e Parabéns pelo conteúdo!

[@FelipeRocha1]

Sensacional! Parabéns!

[@fernandogalhango2299]

Começando os estudos de python com esse vídeo e para um projeto pessoal tbm. Como estamos em temo de copa do mundo, poderia fazer um vídeo mostrando como pegar os dados de alguma copa qualquer no site da Fifa. Tanto como resultados de jogos, escalação e marcadores de gol...

[@diegosousadocarmo9232]

Thanks! I've been searching how to get it and this is brilliant :D

[@jealferreira]

Top demais, Daniel! Eu só tive problema em usar o terminal que não reconheceu o scrapy, mas usei o cmd. Acho que tem relação com a versão do Python que no vídeo é 3.6 e o meu já está no 3.8. Mas no final, tudo funcionou perfeitamente. Obrigado!

[@srkenny404]

Eu estava usando o Python 3.11 e realmente deu errado. Parece que o Scrapy só roda nessas versões mais antigas (usei o Python 3.7 no meu venv)

[@fabiotoniolo]

muito boa a dica do selector gadget!

[@pabloguimaraes]

Gostei da aula. Poderia mostrar depois como ficaria isso, fazendo tipo um cron, agendamento.

[@edhardsan6979]

Aula Impressionadora! Adoro o conteúdo de vocês! A hashtag devia se chamar hashtop!

[@ricardoalmeida7607]

Excelente! Muito obrigado!

[@carlosdiego1241]

Top! Obrigado por compartilhar essas informações.

[@leonardoleandro8760]

@Hashtag Programação, muito bom !! Vocês poderiam fazer uma aula de integração do Python de Análise de Dados com o Google Data Studio, seria muito interesse por ser um ambiente Web.

[@carloscoelho8704]

Muito bom parceiro. Excelente para quem está começando.

[@rubialugattimoreira1978]

Só professor bom nesse canal. Sou fã

[@flipboxmusic5097]

Que aula meu amigo, conteúdo de valor ! Meus parabéns !

[@antonioguilherme1844]

top demais esse framework!

[@frankwilliam8689]

Mais uma aula TOP, parabéns

[@giovannileao]

Obrigado Diogo Defante programador

[@klauseduardodorte4395]

Perfeito. Excelente explicação.

[@jccintr]

Muito bom. Parabéns pelo excelente vídeo.

[@nicoleishikawa950]

Adorei o vídeo, os atalhos são incríveis, realmente facilita a vida. Ainda nesse assunto de Webscraping, consegue fazer um Webscraping que puxe os vendedores do mercado livre? Para prospecção de Leads.

[@danrleideoliveira751]

Sensacional!

[@erikarosa8315]

Muito bom o vídeo.

[@FabioRBelotto]

Muito bom o vídeo. Poderia falar um pouco mais sobre scrappy vs requests + Bs4?

[@eduardoalvim4885]

Vcs arrasam façam mais videos de webscrapping por favor

[@m.magrin8862]

Obrigado pela aula!

[@fabianodealmeidamelo5089]

Parabéns!

[@AlexSilva-uk3zb]

muito bom, parabens...

[@rafaelsantana9946]

Muito obrigado! def parse(self, response): for indice, filme in enumerate(response.css('.titleColumn')): yield { 'titulo' : filme.css('.titleColumn a::text').get(), 'ano' : filme.css('.secondaryInfo ::text').get(), 'nota' : response.css('strong ::text').getall()[indice] }

[@jonasjosino4662]

Muito bom vídeo!! Parabéns!

[@runcall]

Parabens! Maravilha! Gostei muito!

[@julianooliveira3835]

Maravilha meu irmão!

[@silas.braga.]

Conteúdo top, obrigado por produzir.

[@eumesmo2042]

Excelente vídeo, inclusive!

[@grennereis8977]

Olá, ótima aula. Perfeita, como faço no caso de ter mais de uma página na lista de filmes?

[@jonasalvesdeazevedojr311]

Muito booommm professor. Faz uma aula depois de scrapy pra coletar dados de sites como Americanas, Magalu, Mercado Livre, Shopee etc

[@flaviodouglaslopesdias7509]

Excelente aula. Valeu...

[@alviabeck]

Muito bom - Obrigado!!!

[@Pellsmine]

Cara tem um problema ai, as notas todas foram 9.2, o get ta pegando somente a nota do primeiro filme, fora isso ficou perfeito, parabéns!

[@rafaelnegreiros_analyst]

Excelente

[@anamachado5323]

OI, faz um video de como usar webscraping para preencher formulario por requests

[@filipedeasevedo4871]

Muito bom!

[@raffaelegirodoangelin6649]

Maravilha!! Quando vai ter curso completo de Scrapy?

[@desouza850]

to aprendendo muito com esse canal, muito obrigado !

[@johnyramonvoss2250]

boa tarde, tudo bem? queria ver um mini curso para coloetar dados do site da amazon para pegar valor e nome do produto. Muito bom o video.

[@ramonoliveiracardoso2833]

Cara, acho que vale a pena uma aprofundada nisso hein. Scrapy X Selenium: Quais as diferenças, quando utilizar um ou outro? Como fazer uma extração e jogar os resultados direto em um BD?

[@ramonoliveiracardoso2833]

Ah, e claro, conteúdo MUITO bom. Obrigado e parabéns!

[@marcelohenriquepsy1491]

preferi fazer no selenium, ta doido maior trampo, essa parada de criar ambiente virtual, via a aula parando e pensando, ja no selenium fiz em 5min o codigo, scrapy deve ser bom para outras coisas

[@ramonoliveiracardoso2833]

@@marcelohenriquepsy1491 Sim mano, dependendo da situação o scrapy acaba sendo uma "bazuca pra matar uma formiga", se é que me entende. O Selenium te permite fazer as coisas de um jeito mais prático e direto, mas quando você começa a pegar uns problemas maiores começa a ficar complicado (meu cenário). Sobre papo de ambiente virtual, isso ai é independente do selenium po. É mais uma boa prática. Dependendo do contexto, dá pra lascar tudo no global mesmo.

[@danilodelucio]

@@marcelohenriquepsy1491 Sendo bem sincero o Daniel perdeu um tempo violento ensinando a criar ambiente virtual e as paradas por CMD, coisa que quem tá começando não compensa aprender isso de cara, só "assusta" mesmo.

[@extremetrader9418]

@@marcelohenriquepsy1491 se você não criar ambiente virtual pode danificar o python do seu sistema ou seja qual for a linguagem, no máximo vc teria que formatar seu Pc! Se por algum milagre seus projetos estiverem no GitHub basta fazer o clone e continuar de onde parou!

[@ueldermartin]

Muito legal

[@victorsantosjobs]

Muito bom!!!

[@marciaceciliadossantospisa50]

Olá, boa noite ! É possível fazer webscraping de comentários da página de fecebook e Instagram. Eu trabalhava fazendo análises qualitativas de comentários nas Redes sociais. E fazia isso manualmente.

[@luanovamusic4656]

Boa tarde, pfvr se conseguirem fazer algum vídeo de WebDriver utilizando o internet explorer ajudaria muito. Não achei nada na internet sobre, queria selecionar botões e escrever nos input, atualmente o sistema da minha empresa só roda nesse navegador. Desde já muito obrigado.

[@kamirtrigo4817]

Poderia pegar também de indicadores de mercado, bem voltado para o mercado de trabalho

[@guilhermepimenta1960]

Mano muito bom o vídeo, mas os itens da nota estão errados. Deu 9.2 independente do filme, pq vc ta dizendo q a nota é sempre o primeiro item da lista de notas. Faltou utilizar um enumerate no for pra poder iterar pelo índice e pegar a informação correta da nota através do índice. For indice,filme in enumerate(filmes): Yield{ ... Nota : response.css(...)[indice] } Mas ótimo vídeo, não tô querendo ser chato mas é pq é uma informação importante hehe. Vlw, tmj!

[@Kgs2050]

Olá @Guilherme Pimenta, tentei o for loop e enumerate acima, mas nao funcionou também. Como conseguiu fazer?

[@guilhermepimenta1960]

@@Kgs2050 vc colocou o css seletor correto ?

[@canaldeumpolitecnico9969]

@@guilhermepimenta1960 verdade

[@viniciussalgueiro1953]

ele me retorna apenas 3 itens e com as notas 9 . e 2 kkkk

[@Daniel_P]

​@@viniciussalgueiro1953 Tente fazer algo assim: def parse(self, response): for i, filmes in enumerate(response.css(".titleColumn")): yield{ "title" : filmes.css(".titleColumn a::text").get(), "date" : filmes.css(".secondaryInfo::text").get()[1:-1], "rate" : response.css("strong::text").getall()[i] } pass E fazer o scrapy crawl novamente

[@rafaelbastos808]

Muito top.

[@eumesmo2042]

Olá, excelente vídeo, porém no minuto 38:00 estou tentando executar o comando response, ele me retorna File "", line 1, in AttributeError: 'NoneType' object has no attribute 'css' O que seria?

[@eumesmo2042]

Eu estava verificando, em setting.py, precisa desabilitar ROBOTSTXT_OBEY = False

[@blackowl7659]

@@eumesmo2042 Eu coloquei = False, e mesmo assim não foi :(

[@reginaldosarcinellifilho9888]

Daniel, Parabéns pelo vídeo, bastante didático! Gostaria de saber se o scrapy consegue também extrair informações de paginas dinâmicas.

[@rafaelalves9937]

uma duvida, e se eu quisesse filtrar os 10 melhores? qual a melhor forma??

[@neliodiassantos]

Olá, pessoal. Muito bom o vídeo! A minha dúvida é pq devemos criar um ambiente virtual em cada projeto?

[@tiagof5623]

Para vc ter um ambiente somente com a bibliotecas q vc for usar sem misturar com o ambiente global. Dessa forma, evita incompatibilidade de bibliotecas e vários problemas. Tbm contribui para uma melhor organização.

[@thayanesoaresgarcia6620]

Teria como extrair as infos do perfil do LinkedIn

[@gabrielcastilho3673]

Ótimo vídeo

[@SerginhoRicardoMulticanal]

Você poderia me explicar porque o terminal conda não funciona dentro do paycharm não aceita os comandos e não reconhece o scrapy

[@wilsonbreda]

dahora! valeu!