#04 - Automatizando a Busca de Notícias na Web | Web Scraping com Python

[@everton4135]

Muito bom! Aprendendo muito com seus vídeos.

[@condejair]

Ótima Aula!

[@jacksonbarbosadosanjos1339]

top, parabens pelo trabalho!

[@higorsantoss]

muito bom, nao conhecia o canal ... mais 1 inscrito

[@rodrigosiliunas8677]

Professor, sua didática é impressionante, eu costumo consumir muito conteúdo de curso online. Eu não tenho dúvidas que se você fizesse um curso na Udemy eu e muitos outros alunos comprariam, obrigado por disponibilizar esse material gratuitamente, abraços e parabéns!

[@macrocodex07]

Supertop mano, estou assistindo aos vídeos e fazendo junto contigo no Sublime Text

[@laudemirferreira3227]

Lutei com o DataFrame, e nos Find's procurando aulas, procurar a Tag's dos preços, nossa, estourei meus miolos o cérebro que Deus me deu, sentimento de satisfação e missão cumprida obrigado por compartilhar seu conhecimento, Deu muito trabalho. Fiz a proposta no final do vídeo, eu inseri um input para Scrapear no mercado livre ao rodar o script o input faz a Request do dados Scrapeia gera uma lista e salva em xlsx para excel ficou lindo de ver.

[@NoobCodeSaga]

Muito obrigado pelo conteúdo, bastante esclarecedor, gostei muito da sua forma de ensinar.

[@jovensqueprosperam]

O jeito que ele explica é dahora ahaha bem zen, não tem como não aprender kkk

[@JoaoSantos-jb7ul]

Excelente vídeo, Walisson! Assistindo em 11 de outubro de 2024! Estas dicas para contornar problemas durante uma raspagem de dados são excelentes! 👍👍👍

[@janroch5620]

Não tenho nada a dizer só comentei pra dizer isso, brincadeira, muito bom o trabalho que você faz aqui, estou impressionivilizado com isso espero mais aulas... Parabéns

[@topdronesmgtopdrones347]

No alto dos meus 50 anos , maratonando a playlist de web scraping com Python e maravilhado com as possibilidades, alem da magistral forma de repassar o conhecimento, q vc domina PARABÉNS, conteúdo de muita utilidade e transmitida com extrema competência

[@romariogomes7437]

Finalmente perdi o medo de webscrapping. Aula incrivel!

[@andrewsgoes2829]

Conteúdo excelente! Não pare de compartilhar seu conhecimento por favor, sua didática é muito boa!

[@WalissonSilva]

Muito obrigado pelo apoio!!

[@AndersonAlbuquerque]

muito show parabéns

[@flaviamdcastro3377]

Com certeza gostaríamos de ver o Selenium. Parabéns pela didática.

[@drn_lvs]

Meu amigo, cai na sua aula 06 por acaso, já voltei a playlist e tô maratonando tudo. Didática sensacional. Finalizando aqui já vou partir pra playlist de Data Science. Sem palavras pra descrever a qualidade do seu conteúdo. Não havia encontrado nada tão detalhado e profundo assim antes, mostrando a vida real e as necessidades do dia a dia mesmo, diferente daqueles cenários simples e pré definidos que muitos "educadores" mostram por aí... Muita qualidade. Parabéns e obrigado!

[@katimbaue]

deus o abençoe estas aula estao muito boas por favor nao pare voce nos ajuda muito

Muito obrigado por compartilhar seu conhecimento! Muito grato mesmo!

[@Nocfairy]

Meu Deus, sem condições sua didática, seu carisma e seu conhecimento, me apaixonei por ti, mano! Tive que logar em 2 contas pra dar like aqui e to seguindo teu instagram, se você fizer algum curso pago ou ativar o membro do canal pra incentivar você a trabalhar mais nessa forma maravilhosa de transmitir seu conhecimento eu com certeza vou apoiar o máximo que puder. Parabéns!

[@WalissonSilva]

Poxa, nem sei como te agradecer pelo seu apoio! Fico feliz demais quando vejo que o conteúdo está sendo proveitoso e passado de uma forma legal!! Muito obrigado pelo comentário e pelo carinho! Espero continuar oferecendo conteúdos de qualidade por aqui! Em breve, inclusive, vêm novidades! haha. Mais uma vez, muito obrigado! =)

[@JoaoVieira-kk8ub]

Aprendi muito já. Com certeza vou usar muito tudo que estou aprendendo.

[@sergioporfiriodossantos9107]

Maluco é brabo demais! Faz tudo par ver simples.

[@WalissonSilva]

Poxa, muito obrigado, cara!!

[@CarlosAntonio-xe3dc]

Walisson, Parabéns pela série. Conteúdo muito massa e bem atualizado. Só tenho a agradecer pela sua boa vontade de disponibilizar tudo isso no 0800. Já estava quase desistindo de fazer um projeto, mas acho que através de suas aulas eu vou conseguir pelo menos sair do zero. Você é fera!!

[@runcall]

Excelentes tutoriais! Muito bem explicado e de fácil entendimento. Parabéns! Pretendo continuar assistindo os demais vídeos.

[@wglinguagens9809]

Continue com esse trabalho, eu nunca vi um conteúdo tão de didático como seu, e ainda por cima gratuito . Parabéns.

[@paulomorenodev]

Que conteúdo sensacional....estou cursando a graduação de Ciências de Dados em 2024 e suas aulas estão me ajudando muito.....Muito obrigado Professor por disponibilizar estas aulas de forma gratuita......se lançar um curso pago vou ser o primeiro a comprar...abs

[@diegopanizza6387]

Caraca Walisson.... parabéns, que didática perfeita!!!! 👏🏻

[@leonardoxavier7423]

Simplesmente uma das melhores didáticas que já vi!!! Poderia te ouvir por horas.

[@daniellopes4147]

👏🏿👏🏿👏🏿

[@alancharles4734]

Parabéns Walisson, tem sido de grande ajuda acompanhar suas aulas, são ótimas.

[@WalissonSilva]

Muito obrigado pelo feedback e apoio, Alan!!!

[@henriquealves9879]

Vc é muito fera, continue com o seus vídeos!

[@WalissonSilva]

Obrigado pelo feedback e pelo apoio, Henrique!!

[@behtel2012]

Tenho interesse sim de ver Selenium, parabéns pela didatica

[@yagoscalfoni5729]

Muito incrível mesmo Didática espetacular!!!! Tá me ajudando muito mesmo

[@WalissonSilva]

Muito obrigado pelo feedback, Yago!! Sucesso, mano!

[@arthurnunes7608]

Mano sério parabéns pelo trabalho, tu e o Guanabara conseguiram me ensinar muito, você é foda.

[@WalissonSilva]

Poxa, nem acredito que fiquei ao lado do Guanabara nessa tua jornada! Hahaha. Ele é uma referência... Um dia chegarei lá! Obrigado pelo comentário e feedback, Arthur!!

[@franapmachado]

Valeu meu amigo! Didática exemplar!

[@mcarlesso1]

Que top! Parabéns pela excelente aula!

[@wesleywesleypires]

Maratonando, parabéns pelo trabalho!

[@malatubex]

Fiz login só para deixar o like. Parabéns pelo conteúdo e pela clareza na explicação.

[@WalissonSilva]

Muito obrigado pelo feedback!!

[@isaelpaz2957]

Cara! Que conteúdo fantástico! Muito bom mesmo!

[@WalissonSilva]

Muito obrigado pelo feedback, Isael!!

[@Tinho144]

Certamente queremos o Selenium!!

[@musicray6491]

perfeito o ensinamento!! 01/05/2022

[@Rickyz-ho7hh]

Aula boa dmss , só entendi vendo seu vídeo !!

[@jhonmask2359]

Parabéns pelo conteúdo, de excelente qualidade! Aprendi mais do que em certos cursos!!

[@Istanleycamara]

Alguém poderia me ajudar? Não rodou, retornou os seguintes error: KeyError: 'href' Linha 30 = lista_noticias.append([titulo.text, '', titulo['href']]) Linha 1573 = return self.attrs[key]

[@athenas1200]

Show de bola

[@FlavioBernardesFlaberBR]

Estava procurando algo assim que me mostrasse de modo tao simples. Ainda preciso fazer um Web Scraping para buscar informaçoes para o meu trabalho. Mas terá que ser pra diversos sites, e nao apenas internamente em um. Voce tem como ajudar nisso, mostrando em uma aula como fazer ? Gostei muito da sua didática, calma e segura. Obrigado. E parabens. Conheci seu video hoje fazendo uma busca, e maratonei. Vi todos os que consegui encontrar. Valeu!!!!!

[@matheusdesa3375]

Cara, tu é demais viu!!!! Eu tô conseguindo aprender e aplicar na minha realidade e eu sou um ignorante na área.

[@WalissonSilva]

Muito obrigado pelo feedback, Matheus! É super gratificante saber que o conteúdo está sendo relevante e útil! Sucesso para você, cara! Grande abraço!

[@lucasbarros4792]

Ótima didática e conteúdo. Está de parabéns!

[@WalissonSilva]

Muito obrigado pelo feedback, Lucas!!

[@felipef6300]

Meu amigo, você tem o dom da DIDÁTICA !

[@WalissonSilva]

Poxa, muito obrigado pelo feedback, Felipe!!! Tamo junto! ✌🏼

[@andreray1795]

po mano, conteúdo de qualidade dms obg msm

[@isaaccamargos8479]

Fala mais sobre Selenium :D, muito bom os videos.

[@erikamancilha7412]

Aguardando ansiosamente pelo selenium

[@matheusveloso4499]

Vídeo muito Bom! Tomara que continue essa série de vídeos.

[@WalissonSilva]

Muito obrigado pelo feedback, Matheus!! Muito legal saber que o conteúdo está sendo proveitoso! E, sim, vai ter mais vídeos super legais nessa série! =)

[@mateusalves8991]

Brother, obrigado por compartilhar tanto conteúdo e com tanta qualidade. Parabens pela sua didática, sensacional! Fui fazendo junto aqui e deu tudo certo! alias, somente o link que nao consegui, o href nao funciona...mas isso descubro no futuro. show de bola!

[@LTRSX]

Vc explica muito bem, parabéns pela didática!!!

[@WalissonSilva]

Muito obrigado pelo feedback, Letícia!! :)

[@LTRSX]

@@WalissonSilva por nada!! 😁 qual dock vc usa no Linux? achei bem legal

[@navarrodba]

muito legal!!!!

[@ronaldoprfguitar7361]

Muito boa suas explicações e aulas!!!

[@WalissonSilva]

Muito obrigado por todos os comentários e feedbacks, Ronaldo!! É um grande prazer te ter aqui no canal e espero que o conteúdo esteja agregando bastante pra você! Qualquer coisa, estou por aqui, cara. Grande abraço e bons estudos!

[@rjperfumado]

Muito bacana sua didática é ótima! Queria um vídeo dedicado somente ao pandas e ao bs4! Eles são otimos

[@AndersonRuasBorges]

top demais !

[@thiagobaratieri7642]

na linha 11: findAll agora é -> find_all :)

[@marcosoliveira8731]

Baita aula cara.

[@marcossacramento4713]

Excelente conteúdo! Parabéns e obrigado. Vou ver os demais da série. Será que tem algum mostrando como fazer a pesquisa por assunto, conforme você mostrou no fim do vídeo?

[@jeanpauljoseph1523]

Professor, excelentes as aula. Tive um problema, o pandas está gerando a tabela com os nomes das colunas errado (ordem diferente) do programado. pode me ajudar ?

[@ricardocorrea6956]

Excelente didática!

[@fernandomdcn2920]

qual é o link do seu curso, você ensina muito bem

[@rodrigoroda153]

Boa noite! Sensacional a tranquilidade para explicar o conteúdo, virei ouvinte de carteirinha.... Gostaria de saber como fazer isso quando tenho que buscar em um site que tenha várias páginas, tem como fazer?

[@especuladorinicianteb3-tra111]

top muito top, meu muito obrigado!!!

[@rosilenesoares9392]

Aula top!!

[@joedsonsilva788]

este cara é um mito, pagaria tranquilo um curso dele

[@eliasnunes9288]

conteudo muito foda, depois vc poderia fazer algo ensinando a fazer login e senha em algum site.

[@Felipe-ye5kt]

Uma pequena duvida, se eu quisesse pegar a imagem também e converter em URL, como eu faria?

[@carloshenriquesoares6958]

Muito massa!!

[@iow_rucoyonline]

Boa tarde, desde ja estou gostando mt do curso mas estou tendo um problema quando uso o findall todos os find a partir dai deixam de funcionar

[@luizfelipefelipe5007]

Find-All

[@joasrsantana]

Meu caro, continue por favor, mostre o Selenium e tudo que for possível. Tá demais!!!

[@WalissonSilva]

Poxa, Joas! Muito obrigado pelo feedback e pelo apoio!! Beleza, pode deixar, então! Haha

[@henriqueribeiro4736]

muitio bom ! amigo, escrevi o código como o seu porém na parte do for me retornou uma notícia só, o que pode ser?

[@LennWeltmeister]

Preciso de uma ajuda. tenho um pedaço de código que faz uma request numa tag com classe "xXx"; genero = cartao.find('a', attrs={'class': 'xXx'}) ele retorna None mas EXISTE lá na página. O que pode estar acontecendo de errado?

[@davibortolo8947]

cara, estou com o mesmo problema, já conseguiu resolver?

[@AlexandreXavierG]

Olá, no meu Campo de Saída do VSCODE, os acentos e outros caracteres estão desconfigurados. A codificação está em UTF-8. Se alguém puder me ajudar eu agradeço, obrigado! Conteúdo show!!!

[@audelismarcelo]

Muito boa a sua didática, parabéns pela iniciativa. Quando teremos a aula com selenium?

[@otto07]

Excelentes vídeos. Se acrescentar o Selenium, fica xoudibola. Muito obrigado!

[@WalissonSilva]

Opa, muito obrigado pelo feedback!!! E já temos vídeo aqui no canal sobre Selenium! 😁

[@fallthred]

quando eu passo no comando for os títulos vem todos fora de ordem, e tem uns que nem estão na pagina principal, vc sabe pq ta acontecendo isso?

[@tiagoluisdeandrade2428]

Parabéns pelo vídeo! Tem como passar um argumento para a busca da notícia? Por exemplo: Oxford.

[@nacena3559]

prof, no caso do g1, q é uma pagina q vive atualizando, oq acontece com oq está salvo na planilha se eu salvar por cima? por exemplo, no dia 07 tenho os arquivos x y z e no dia seguinte salvo os arquivos a b c o que acontece com o 'x, y e z'?

[@brn9773]

Achei show, já estava estudando em livro, achei seu canal, gostei muito, fiz em um site de animes rsrsr.... 0, Gokushufudou,Ep. 5 (HD), 2 views visibility 20 minutos atrás, ************************************

[@JoaoVictor-sw9go]

Walisson, primeiro gostaria de dar parabéns pelo conteúdo que está criando, sua didática é muito boa e seu conhecimento idem. Porém tenho uma dúvida, quando você cria a "lista de listas" para ir armazenando as notícias, não seria mais fácil criar diretamente um dicionário?

[@RuanLeitte]

Fala mestre, tudo na paz? Eu quero pegar um resultado de um site, mas o resultado é exibido em jwplayer. Eu não sei como fazer... Teria alguma ideia? Abs

[@kaiojv]

Tem como pegar imagens ?

[@Elaijian]

Me tira um duvida? levando em consideração a superioridade do sellenium qual a vantagem de usar o BeatifulSoup?

[@WalissonSilva]

Fala, Anderson! Excelente pergunta, cara! A ideia é que o BeautifulSoup é uma biblioteca mais simples para quem está iniciando e muito útil para fazermos buscas de informações em (alguns) sites, daí a gente acaba sempre iniciando com ela. Além disso, o Selenium é um webdriver, ou seja, uma ferramenta que roda o navegador de forma automática; mas para obter os dados em formato HTML e fazer o scraping ainda precisamos do BeautifulSoup, sabe? Ou seja, em resumo, o ideal mesmo (e o que veremos nos próximos vídeos da série) é combinarmos o Selenium com o BeautifulSoup para fazermos um Web Scraping mais completo e eficaz (vamos executando várias rotinas no navegador, e, enquanto isso, obtendo os dados que queremos). ;)

[@Elaijian]

@@WalissonSilva Muito Obrigado , mais didatico impossivel !!! parabens!!!!!!!!

[@FPV_do_Cerrado]

Walisson, não consegui exportar para excel no final mesmo instalando pelo terminal, fala que o módulo não foi encontrado. "no modulo named openpyxl" alguma dica?

[@WalissonSilva]

Olá, Camillo! Tenta instalar o pacote openpyxl, utilizando o comando: pip install openpyxl

[@FPV_do_Cerrado]

@@WalissonSilva eu fiz desta forma, tanto n terminal, quanto pelo anaconda. instalei na pasta que está o projeto tbm, e mesmo assim retorna o erro.

[@FPV_do_Cerrado]

consegui. pelo que entendi eu sempre tenho que instalar os módulos dentro do ambiente virtual, senão não carrega, é isso? quando eu ativei o ambiente virtual, aí foi.

[@SSandovalbezerra]

Walisson sua didática é incrivel , parabéns....tem como trazer os dados de um arquivo JSON...como seria ?

[@WalissonSilva]

Muito obrigado, Sandoval!! Sim, com certeza! Você gostaria de ler dados de um arquivo JSON salvo na sua máquina ou de um arquivo JSON disponível em algum link da web (tipo, uma API)?

[@jorgeleonardonesi838]

Quero saber mais sobre Selenium

[@prienix]

el .text me lanza error :C

[@HeadTryal]

da pra exibir isso no meu site php? como faço pra exportar isso pra usar dessa forma, (de forma que atualize automaticamente) excelente conteúdo cara, muito melhor que muitos cursos pagos!!!!

[@InspiraTechPLP]

Muito bom

[@WalissonSilva]

Muito obrigado pelo feedback!!

[@icaroalexandre5992]

Faz de selenium tbm, por favor

[@WalissonSilva]

Já tem três vídeos sobre Selenium no canal, Icaro! 😉

[@joseantoniorezende2414]

Top

[@ju_4981]

Salvou

[@Thayson65]

boa noite, executei o mesmo codigo e deu um erro: Exception has occurred: KeyError 'href' File "C:\Users\thays\OneDrive\Área de Trabalho\python\intermediario\protocolo_http\webScrapping\2.py", line 18, in link_noticia = titulo['href'] #link da notícia ~~~~~~^^^^^^^^ KeyError: 'href' debuguei vi vi que o sistema esta pegando, no ultimo loop, uma classe css que não é do mesmo tipo das demais, logo não existe um href, pq o mesmo não é um link

[@HectorNoya]

Um grande problema é organizar as noticias por categorias, para serem disponibilizadas no site de forma organizada. Por exemplo, como fazer para que apenas o conteudo especifico apareça na capa, ou fofocas, esportes, ciencia etc... Essa organização que esta complicando muito meu trabalho aqui! haha

[@plavc-plataformavalorconsu7683]

Selenium, jura? Quando Walisson? abraço.

[@pgmdr8308]

Não sei se virá a ser um problema pra vcs, mas caso der erro ao imprimir a lista de noticias, tipo *ModuleNotFoundError: No module named pandas* vcs precisam instalar a biblioteca no terminal, igual os outros modulos importados. Comando: pip install pandas