#03 - BeautifulSoup: Buscando Notícias na Web | Web Scraping com Python

[@gustavodeoliveira4862]

Conteúdo de qualidade com apenas 216 visualizações e 28 likes... Por isso esse país não vai para frente. Terminei o Guanabara e estou caçando coisas para fazer. Muito bom, parabéns!

[@WalissonSilva]

Valeu pelo feedback e pelo apoio, Gustavo!! Na próxima semana tem a continuação dessa série de vídeos! Grande abraço!

[@antonioribeiro1988]

Verdade! Se fosse um canal de fofocas teriam milhões de visualizações e curtidas!

[@MrJBROSA5yd]

O canal ainda é pequeno, comparado com outros de Tecnologia, mas tem grande potencial de crescimento, quanto mais interações e pessoas escritas mais rápido vai crescer! Eu pensei a mesma coisa que vc srsrsr mas tem que ter paciência.

[@fvbmike684]

@@antonioribeiro1988 concordo plenamente

[@thevitorcampos]

Muito Obrigado pelo conteúdo. Além de explicar detalhadamente as ações sobre cada linha de código e de ter ensinado HTML anteriormente, coisa que normalmente a gente não vê em outros canais (já vão direto para o scraping sem detalhar), o seu ritmo de fala e a forma como ensina são sensacionais. Muito obrigado mesmo, nunca aprendi tanto como estou aprendendo com vc. Valeu! Ah, por favor, continue postando videos.

[@kaduflutist]

Parabéns, Walisson! Muito bem explicado. Muitíssimo obrigado pelas excelentes aulas.

[@renatamendesvertelo5656]

Finalmente estou conseguindo entender alguma coisa de web scraping. @walisson parabéns!

[@WalissonSilva]

Poxa, que legal, Renata!! Fico feliz demais por isso! Sucesso para você e muito obrigado pelo feedback!

[@sanchessantos7153]

Didática excelente, parabéns pelo vídeo!

[@Grm74GO]

Parabens pela didática e pela qualidade do conteúdo. Muito bom mesmo!

[@renansilva1362]

irmão não desiste, tu salvou demais!! didática excelente.

[@WalissonSilva]

Muito obrigado pelo apoio, Renan!!

[@FutebolClich]

Valeu meu amigo, tava faz hora procurando alguem que ensinasse procurar por class e não por ID, seu video foi perfeito, exatamente o que eu queria, ganhou um inscrito

[@gabrielfreire9021]

Merece 1 milhão de likes. Primeira vez na vida que REALMENTE aprendi isso.

[@salogg1]

Conteúdo Excelente. Parabéns

[@jovensqueprosperam]

Estava quebrando a cabeça com python ai resolvi pesquisar como utilizar o beautifulsoup e cai nesse video! Ganhou mais um inscrito! voce ensina muito bem!

[@barbosinhow]

Qualidade muito superior.. a entonação da voz a didática e a coerência nas palavras ajudam muito em manter a concentração. Muito obrigado pela contribuição.

[@joaocorreia1515]

Mestre, sua metodologia é impecável, estou entendendo claramente, muito obrigado

[@GeanCarlos.oficial]

Ótima a didática!

[@fndfernandu]

Como é bom ver uma aula dada por um professor! A diferença é enorme! Parabéns pelo seu trabalho! Me inscrevi!

[@felipef6300]

Sem palavras irmão!!!

[@evaldoaraujo4145]

Tu explica super bem. Ótimo conteúdo.

[@rickcomvc]

Excelente vídeo! Parabéns pelo conteúdo de qualidade.

[@mattlothbrok]

QUE CONTEÚDO SENSACIONAL

[@AndersonRuasBorges]

explica muito bem, esta de parabéns não tem como não entender !

[@yuricesar15]

Didática nota 1000, Parabéns!

[@reaffless3931]

Ótima aula, comecei hoje mesmo com o web scraping e já entendi tudo o que você falou, sem ter que pesquisar sobre, sem ter que ver e rever o vídeo.

[@adrianesc7706]

Aguardando ansiosamente pela próxima aula, sua didática é excelente

[@WalissonSilva]

Poxa, muito obrigado pelo feedback, Adriane!! Saiu um vídeo novo dessa série hoje, inclusive. Espero que continue sendo um conteúdo bem proveitoso. Agradeço muito pelo apoio!

[@carloshenriquesoares6958]

Ótima didática! Parabéns e valeu, Walisson!

[@InfoVoce]

Show Walisson, parabéns pela didática e rico conteúdo. Abraço!

[@rayraalves4378]

Finalmente um conteudo que ensina bem e do básico mesmo pra quem nunca teve contato. Muito boa a aula

[@cleziorogerio-lb9bf]

Excelente vídeo

[@TM.Des1gn]

Irmão, que explicação animal!! Parabéns, e por favor, não pare!

[@technew1667]

Sensacional o vídeo explica muito bem, não desista do canal!

[@AlbertoBezerraProf]

Excelente aula. Parabéns pela didática!

[@aparecidomoraes9605]

Excelente didática. Aguardamos ansiosos como fazer o loop.

[@WalissonSilva]

Muito obrigado pelo feedback e pelo apoio, cara!! Infelizmente, eu não consegui postar vídeos nas duas últimas semanas, por conta do trabalho, mas na próxima semana vai ter mais de um vídeo novo, incluindo dessa série! ;)

[@littlejhonn75]

excelente video! muchas gracias.

[@arissamedeiros669]

Que aula incrível. Continue com isso!! Agradeço demaisssss

[@WalissonSilva]

Poxa, muito obrigado por esse feedback, Arissa!! É muito legal saber que o conteúdo está sendo útil! Eu que agradeço pelo apoio e o incentivo! Vou continuar, sim! =)

[@davifaustino3045]

ansioso pela próxima aula

[@WalissonSilva]

Muito obrigado pelo feedback e pelo apoio, Davi!! Infelizmente, eu não consegui postar vídeos nas duas últimas semanas, por conta do trabalho, mas na próxima semana vai ter mais de um vídeo novo, incluindo dessa série! ;)

[@JoaoVieira-kk8ub]

Ótimos vídeos. Melhor que muitos cursos que já fiz....

[@Leozinho222333]

Muito bom professor, obrigado mais uma vez.

[@navarrodba]

Cara, chique demais!!! Estou dando os meus primeiros passos em python e seus videos me ajudaram bastante

[@venhaotsutsuki9703]

Irei baixar todos os videos dessa playlist, e salvar como backup. É um conteúdo muito rico para estudantes de ciências da computação! Ótima didática, professor

[@ContandooOntem]

Que aula sensacional! Parabéns!

[@MatheusSilva-kj2lk]

Perfeito. Muito obrigado.

[@WalissonSilva]

Valeu, Matheus! Eu que agradeço pelo apoio!

[@jorgeleonardonesi838]

Cada vez melhor... Fala mansa... D+!

[@jupito2010]

Ótima aula

[@jairo4120]

Cara parabéns você explica muito bem , me ajudou muito, OBRIGADO

[@franapmachado]

Mais uma aula TOP! Parabéns!

[@LuizFelipeGomesdeCarvalho]

Muito bom o conteúdo, parabéns! Seria interessante uma extração de tabelas, com um laço for. Tenho dificuldades em enter a lógica para esse tipo de web scraping.

[@rhudson.douglas]

cara, que didática excelente!! Tem me ajudado muito!

[@WalissonSilva]

Obrigado pelo feedback, Rhudson!!! Em breve, vai sair outros vídeos nessa série!

[@catastrofegames2514]

continua a serie, muito boa

[@WalissonSilva]

Opa! Com certeza! Saiu vídeo novo hoje! Muito obrigado pelo apoio!!

[@pheliperuiz2434]

que conteúdo incrível, Vi que o link dos curso esta indisponível! Ainda tem os cursos?

[@ronaldoprfguitar7361]

Professor muito bom!!

[@GuilhermeRibeiro-bp1yu]

Deus, ta me ajudando dmais

[@wallacecamargo1043]

Muito bom Walisson! Parabéns pelo trabalho!

[@marcosoliveira8731]

Muito bom.

[@rshenrique]

Otima aula Wallison, parabens. Pude tirarvarias dúvidas. No meu caso to testando da forma que você ensina no video, para uma URL que gera um xml. Nesse caso, aprece a seguinte mensagem no terminal ao rodar o codigo: -----Warning: It looks like you're parsing an XML document using an HTML parser. If this really is an HTML document (maybe it's XHTML?), you can ignore or filter this warning. If it's XML, you should know that using an XML parser will be more reliable. To parse this document as XML, make sure you have the lxml package installed, and pass the keyword argument `features="xml"` into the BeautifulSoup constructor" ---- Dai eu tento instalar o lxml pelo comando pip install lxml, mas da um erro falando sobre uma biblioteca libxml2, mas não consigo intalar de jeito nenhum. Ja testei quase tudo que li na internet a respeito. Como poderia fazer para extrair as informações xml da url? Abraço

[@taconi]

Muito boa a sua didática. Estou ansioso pelos próximos vídeos. Você vai abordar o framework scrapy? Ela é específica para web scraping e web crawling, e é muito boa.

[@WalissonSilva]

Muito obrigado pelo feedback, Igor!! Cara, não estava pensando em explorar o scrapy, mas depois do seu comentário, vou levar em consideração, sim! Obrigado pelo apoio, cara!!

[@matematicadasapostas]

Olá Walisson! Parabens por seus videos. Estou aprendendo muito sobre python através deles. Eu também gostaria de esclarecer uma dúvida: Ao invés do ".text", eu poderia usar o ".get_text()"?

[@saraacsadasilvamelo3031]

Muito obrigada pela aula, estou fazendo um web scrapping aqui, porem no meu caso, eu preciso acessar a informação. Por exemplo: Quero pegar todos os títulos das noticias do site, mas para cada notícia, quero que o código acesse o link dela e pegue o texto completo por exemplo...

[@invisibleboy9135]

Caraca ...maratonei todos os vídeos hoje....ÓTIMO!!!!! To ansioso pro próximo vídeo...por curiosidade....esse curso vai ter cerca de quantas aulas?(ao todo contando com as que voce ja lançou)

[@WalissonSilva]

Cara, muitíssimo obrigado pelo apoio!! Muito legal saber que o conteúdo está sendo útil! Quando à tua dúvida, não sei te dizer com muita certeza, mas posso te garantir que estarei gravando uns vídeos com mais exemplos de utilização do BeautifulSoup e, depois, pretendo falar sobre Scrapy e Selenium. ;)

[@invisibleboy9135]

@@WalissonSilva muito obrigado mesmo....por favor continue assim hahahaha

[@PARALELOBRAZ]

estou acompanhando esta muito boas as aulas qunado sai a proxima?

[@WalissonSilva]

Valeu, Jean!! Estou colocando um vídeo novo, toda semana, na segunda, às 18h00, beleza? Estou alternando entre os vídeos do Curso de Data Science com Python e dessa série sobre Web Scraping. Muito obrigado pelo feedback e pelo apoio, cara!!

[@hatemachine7989]

Agradável.

[@genuinobrasileiro]

No meu está aparecendo "None"... o que está errado? O código está igual... e ainda tentei trocar as "class".

[@ronaldoleoni7170]

Mesma coisa aqui, até que fui fazer o exemplo do g1 e deu certo

[@caiopjv]

Vi vários vídeos sobre o BeatifulSoup. O melhor que assisti, o mais didático, foi o seu. Disparado.

[@WalissonSilva]

Muito obrigado por seu feedback, Caio!! Sucesso nos estudos! 🚀

[@rosilenesoares9392]

Muito bom!!

[@tiagoluisdeandrade2428]

Olá Walisson, parabéns pelo vídeo, excelente! É possível efetuar a busca no Google Scholar, por exemplo?

[@EmlioGen]

Vídeo incrível. E imaginar que consegui fazer tudo isso pelo celular 😅

[@gabrielcardoso9620]

+ 1 inscrito!

[@LovesYou-qf2gk]

No meu caso tenho uma lista bem grande de links e quero somente achar uma palavra em cada link, seria o caso fazer um loop com: for(parametro){ response = request.get(vetorString[i]) content = request.content } seria isso? e fazer os finds do beautifulSoup armazenando em um objeto ou arquivo

[@nagano789]

Estou tentando passar uma div que esta fechada(seta para direita) mas o programa nao acha, como resolve?

[@thiagoserra4674]

O meu retorna 'requests.models.Response' como trabalho com isso ? Alguém pode ajudar? Muito boa a aula !!!

[@alefsantos5810]

Excelente conteúdo parabéns!! No minuto 20:05 quando você digita: print(titulo.text) para achar o título da notícia, Se no meu caso ao invés de um texto, tivesse um número eu teria que digitar o comando como print(titulo.value) para aparecer o valor?

[@WalissonSilva]

Fala, Alef! Muito obrigado pelo feedback!! Cara, a ideia do atributo text é que você consiga obter o conteúdo da tag e, nesse caso, em formato de string. Se você quiser obter um número que está dentro da tag, eu te sugeriria utilizar o mesmo atributo text, mas aí você converte para número utilizando o int ou float. Por exemplo: float(preco.text). Eu faço algo parecido no exemplo que apresento na parte 5! Espero ter te ajudado e, qualquer coisa, estou por aqui! ;)

[@alefsantos5810]

@@WalissonSilva show de bola! Muitíssimo obrigado, ajudou bastante! Irei tentar! Vou continuar assistindo a série! Mais uma vez parabéns pelo canal!

[@schiavigamer5002]

Quando não tem essa div descrita dessa forma, como faço para obter por favor?

[@brunomenezes10]

Estou tentando fazer uma raspagem de dados para identificar um aviso , porém o aviso não é informado no HTML de retorno.

[@andrebarbosa-marca]

Caso a pagina jogue o html todo no java script, como vou recuperar isso.

[@emiliabrasilio9111]

Teu curso é fantástico, estou gostando demais, mas tenho uma dificuldade; eu costumo estudar pausando e codando junto, às vezes abro o help também; porém estou tendo dificuldade porque a letra do seu ide está em tamanho normal. Se nos próximos videos você puder aumentar um pouco, ficaria mais confortável pra mim. E por favor, continue com essa vibe, seu curso tem me ajudado muito. Obrigada

[@ronicesararaujo2141]

Amigo como posso abrir um browser com este requests, na verdade preciso abrir um site e preencher o login e senha e depois coletar os dados.

[@shaiennyferreira9179]

Sabe me dizer qual é a diferença entre "Inspecionar" e "Exibir código fonte"? Porque eu preciso das informações do inspecionar para fazer meu web scraping, mas quando faço só considerar as informações da tela exibir código fonte, onde quase não existe informação.

[@filipesantos6623]

Quando vc coloca exibir código fonte e os elementos que vc busca não aparecem quer dizer que eles são gerados dinâmicamente por funções e scripts da página. É como se o código fonte da página fosse apenas um sumário. Já quando vc utiliza o inspecionar o código deles aparece pq o browser já carregou as funções de visualização daquele elemento.

[@AprendendoaTocar]

É possível pegar dados das tags ? Se sim, como faço? Parabéns pelo vídeo!!!👏

[@Leitao526]

Parabens pelo excelente conteudo, umas duvida, faltou ensinar a pegar so o link da noticia, como fazer esse find ?

[@filipesantos6623]

link = noticia.find('a', attrs={'class': 'feed-post-link'}) print(link.get_attribute_list('href')[0])

[@victorialuisa4301]

como eu consigo pegar o link da noticia? que ta na -- 'a', attrs={'class': 'feed-post-link') -- só que ta no href dentro do 'a'... Porque a ideia é conseguir entrar nas noticias e pegar o corpo/texto das noticias, pra montar uma base. Qual é a melhor forma?

[@filipesantos6623]

link = noticia.find('a', attrs={'class': 'feed-post-link'}) print(link.get_attribute_list('href')[0])

[@PedroHenrique-ct8yl]

como eu faço caso tenha que digitar o usuario e senha para pegar os dados?

[@bryanbrenomorais6650]

Caso eu quisesse o Título e o Link como eu poderia fazer??

[@kratos1444]

Tentei fazer Web Scraping em um site, porém ele não retorna todo o HTML da página.

[@rafael9491]

Dúvida, esse scraping é automático ou precisa atualizar pra coletar novos dados/notícias?

[@schubertepaulausa]

Hey Walisson, você daria aulas particulares? Se sim, me responda por gentileza que tentarei contato contigo =)

[@thiagocardoso1674]

toppp

[@jandersonduartedossantos9462]

eu fiz o exemplo até o print(site.prettify()) porém, na saida ele informa no final: return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode character '\u26bd' in position 560302: character maps to . . . como posso corrigir isso? parece algo do site, mas quando eu testo com o programa pycharm o codigo roda perfeitamente Ps: Ótimo Canal!!!

[@Weeex521]

Isto n e um tutorial e uma aula

[@zeusteineleuterio6571]

amei, to entendendo tudo so complica as vezes alguns html que sao esquisitos

[@ccnfrankbr]

legal, mas na pesquisa voce poderia , no mesmo find , usar mais de um attrs em vez de ficar criando find depois de find...

[@LucasSantos-uw5nb]

Boa noite galera. Alguém já conseguiu fazer com site SofaScore ou flashcore??? Estou tentando mas nunca dá certo.faco exatamente como está no vídeo porém quando mando pesquisar da resultado none como se não tivesse achado os dados. Alguém me ajuda por favor 😿😿😔

[@_ig.limaa_]

Muito obrigada por compartilhar um conteúdo de altíssima qualidade educacional!

[@TakoteGames]

É difícil achar cursos didáticos assim na internet, nada além do que dizer obrigado

[@claudio1170]

Muitos sites já tem proteção contra esses scrappings

[@wandersonsantos5643]

já tentei de todas as formas mas pra mim só retorna (NONE)

[@tullez01]

qualquer coisa cola seu código aqui, e tentamos ver o que tem de errado... fora ja ter instalado as duas bibliotecas, que ele ensinou nesse e no video anterior!

[@Maick311]

boa tarde, exceletne conteudo irmao. Poderia me dar um help? o que fazer quando retorna assim? {{ producto.title }} {{ producto.formato }} {{ producto.tipo }} {{ producto.referencia }} {{ producto.acabamentoinfo }} | {{ producto.informacao_faces }} {{ producto.informacao_linha }} Variação de Faces - {{ producto.informacao_faces }} Ambiente Acabamento