#05 - Busca Automatizada por Produtos | Web Scraping com Python

Fala, pessoal! Nesse vídeo iremos nos aprofundar na utilização da biblioteca do BeautifulSoup, buscando produtos no Mercado Livre de forma automática. Ao digitar o nome do produto, nosso código será capaz de consultar o site do Mercado Livre e buscar pelos principais resultados da busca pelo produto desejado.
Caso você ainda não conheça, o BeautifulSoup é uma biblioteca do Python que nos permite encontrar trechos específicos de páginas HTML com o intuito de extrair informações de interesse.
LINKS
→ Playlist Completa dessa Série: • #01 - Introdução ao HT...
→ Repositório do GitHub: github.com/wal...
→ Página do Curso de Data Science: walissonsilva....
→ Grupo de Estudos no Telegram: t.me/ge_ws
→ Canal do Telegram: t.me/walisson_...
→ Instagram: / walissonsilvablog

[@JoaoSantos-jb7ul]

Mais um excelente vídeo, Walisson, obrigado! Assistindo em 11 de outubro de 2024! Estas dicas para contornar problemas durante uma raspagem de dados são excelentes! 👍👍👍

[@desarme5853]

Cara, muito obrigado de verdade! Não é toda hora que se encontra um conteúdo tão bem explicado assim, por sinal gratuito! Show e sucesso com o canal manin!

[@WalissonSilva]

Cara, agradeço demais pelo feedback!! É bem motivador receber um feedback como esse. Desejo muito que o conteúdo do canal seja cada vez mais relavante e proveitoso para vocês! Muito obrigado pelo apoio, brother! Grande abraço!

[@reaprendendoaviver9372]

Obrigado por compartilhar seu conhecimento. Sua didática é sensacional. Parabéns!!!

[@WalissonSilva]

Muito obrigado pelo feedback, Cristiano!! Isso é um grande incentivo para o meu trabalho. Grande abraço, cara!!

[@igorsilveira3584]

Parabens pelo conteúdo, Walisson. Sou Engenheiro Civil, e gosto muito dessa parte automotiva de processos, pois vejo que, sabendo explorar, acrescenta muito nas tarefas diárias, otimiza muito tempo.

[@Andersonkn10]

Muito bom! Explica muito bem, muito fácil de entender. Faz um ensinando como fazer um loop para raspagem de várias páginas

[@lucasmenezesn2013]

Vendo as aulas em 2024. Obrigado pelo conteúdo!

[@mathikan]

Cara, vc é um professor sensacional.

[@Pablo1000k]

Show de aula. Espero que continue.

[@WalissonSilva]

Muito obrigado pelo feedback!! Amanhã já tem vídeo novo dessa série, inclusive! ;)

[@andersontolfo7773]

Conteúdo e didática realmente incríveis!!!

[@rafaelnoleto2857]

Ótima explicação! Parabéns pelo vídeo! Ganhou um inscrito e um fã!

[@natando208]

Irmão, que vídeo sensacional! Estou a alguns dias tentando começar no web scrapping tentei com vários métodos e vários vídeos, só com o seu consegui fazer. Ótima didática e ótimo conteúdo, muito obrigado por me ajudar!

[@boladaoshoww]

Cara, como vc não tem 1m de inscritos.. conteudo toop. parabens

[@Bia-kf7fo]

Adorei! muito obrigada pelo tempo de ensinar para gente tudo isso

[@fabianosfreitasx]

Obrigado por compartilhar conhecimento, aprendendo bastante com seus vídeos. Poste mais. :)

[@WalissonSilva]

Muito obrigado pelo apoio, Fabiano!! Pode deixar; vai vir mais conteúdo em breve! haha

[@brunomacedo8234]

CARAMBA que aula espetacular mano!!!!!!!!!!!!!!!!

[@WalissonSilva]

Valeu pelo feedback, Bruno!! 😄 Sucesso pra você, mano! 🚀

[@RodrigodeFCunha]

Sem sombras de dúvida, um dos melhores conteúdos sobre Python em português. Muito bom mesmo, continue assim! Por favor, faça vídeos sobre a Selenium haha

[@WalissonSilva]

Poxa, muito obrigado, Rodrigo!! Muito bom saber que o conteúdo está sendo relevante, cara! E, aproveitando, amanhã tem vídeo sobre Selenium! ;)

[@macrocodex07]

Muito top seus videos, playlist top, estou assistindo e fazendo tudo

[@osoriomatucurane9511]

Aula sensacional, na minha lista dos top 10 na raspagem de dado com a bs4. Unica aula que ja encontrei explrando bem a complementaridade dos dois métodos findall e find. 1. O find_all faz o tralho preliminar e retorna uma lista. 2. Montar um for loop para passear pelos elementos da lista um por um. 3. Solicitar os serviços do find para extrair os textos desejados em cada elemento da lista. Achei top a forma como concertou aquela situação dum dos elementos k mostrava se diferente dos outros, colacando uma aquela condição. Parabéns, ❤❤❤ es um um autêntico Mestre!

[@WalissonSilva]

Muito obrigado!! 😄

[@brunomacedo8234]

Deus te pague, meu jovem

[@diogo_ferrarezi]

só um comentário aleatório rsrs.. legal que cada vídeo ta num sistema operacional rsrs. E cara obrigado pelo conteudo, top demais

[@PedroDaniloAnalistaDeDados]

mano vc explica muito bem didatica maravilhosa, Deus te abençoe.

[@WalissonSilva]

Amém, mano! Agradeço demais pelo feedback!! 😄

[@sandroff]

Show. Parabéns. Muito obrigado. Fiz meu primeiro web scraping!!!!

[@WalissonSilva]

@@sandroff Parabéns!!

[@themarlonmiguel]

Muito boa sua didática. Parabéns!

[@FlavioBernardesFlaberBR]

Gosto do que voce faz e como voce faz cara !!! Parabéns e obrigado.

[@WalissonSilva]

Muito obrigado pelo feedback, Flavio!!

[@melrocha8670]

Video top, consegui acompanhar as explicações

[@supratecmidia5650]

Valeu irmão, curti pracas. Deveria fazer mais videos assim com projetos práticos!!!

[@wagnerjunior3782]

Cara parabéns pelo conteúdo, que didática fantástica, já vi vários conteúdo sobre o bs4, mas o seu de longe é o melhor. Mais uma vez parabéns, ganhou mais um inscrito.

[@viniciuskoncicoski5462]

Passando aqui novamente para agradecer pelo conteúdo. Espero que possa continuar com os vídeos.

[@PY7DX]

Parabéns Walisson, nota 10 pela didática, paciência e conteúdo grátis para auxiliar e dar a mão a quem realmente necessita. Deus te abençoe sempre.

[@WalissonSilva]

Muito obrigado pelo feedback, Edilson! Para mim, é um grande prazer passar esse conhecimento para vocês! Qualquer coisa, estou por aqui!

[@periscotadealmeida7186]

Fala Walisson, queria te agradecer muito seu conteúdo foi direto ao ponto sem enrolar muito, calmo e tranquilo ao tratar os erros, estava assistindo os videos da UDEMY mas nenhum deles foi tão perfeito quanto ao seu muito obrigado meu velho.

[@condejair]

Extremamente proveitosa sua aula

[@FabioRBelotto]

Muito bom o vídeo. Parabéns.

[@yurikruk]

O cara é muito brabo

[@franapmachado]

Como poucos, consegue fazer tudo parecer fácil! Valeu!

[@EdsonMoraesProfUniversitario]

Parabéns Walisson, já estou na melhor idade, sou professor de TI {afastado desde 2014}, mas nunca programei, sou especialista em documentação. Já até dei aulas sobre fundamentos de Java, Lógica de Programação, MySql...e somente agora que me interessei em desenvolver em Python, pois creio que é a linguagem que revolucionará a internet das coisas, Já imaginou que seu fogão a gás (através de um código em Py, perceberá pelo peso do botijão que está quase acabando) utilizará seu cartão de crédito (ou id) e acessar a internet e comprar em determinado fornecedor (cadastrado por vc)...é fantástico né? muito obrigado por passar conhecimento, eu tbm sempre faço isso. Abraços

[@Jack-ss4re]

Muito legal ler isso :)

[@NoobCodeSaga]

Sensacional, não ficou nenhuma dúvida hahaha

[@eotcholas5884]

tentei fazer no site do zoom e nao formatou a url deu erro alguma dica tinha varios simbolos a mais representando espacamentos e coisas assim

[@rebeliaodamenteoficial1575]

Topzera, vou realizar uma aplicação dessa no meu trabalho vai me gerar muitos frutos com ctz 🙏

[@romualdo10279]

Parabéns muito bom. Ótimo conteúdo e explicação me ajudou muito tinha algumas dúvidas e vc esclareceu 👍

[@WalissonSilva]

Que legal, Fabiano!! Fico muito feliz por isso! Muito obrigado pelo feedback!!

[@LincesMarques]

Cara sua didática é muito boa mesmo, parabéns.

[@pececarvalho]

Show de bola

[@rodrigo73329]

conteudo top demais

[@rafaelfael1606]

Obrigado

[@victorrocha70]

Aula simplesmente impecável!!

[@viniciusbruno2340]

Vídeo muito bom, gostei muito. Gostei também do seu thema de sistema e icones, pode compartilhar quais themas e icones que vc usa?!

[@VictorSIlva-om3in]

Maratonei !!!

[@gabrielmartinssilva9233]

Muito TOP!!!! Sem palavras, Parabéns pelo conteúdo! 👏

[@VeniltonSiqueira]

Muito bom! Primeiro vídeo seu que eu assisto e já foi suficiente para me inscrever no canal, muito bem explicado. Obrigado. Aproveito para fazer uma sugestão: ensina a buscar os produtos em todas as páginas e não somente na primeira. Parabéns pelo vídeo. Agora vou olhar os seus outros vídeos.

[@jhonmask2359]

Show o video! Estamos esperando ansiosamente pelo selenium!!!!!

[@andrerocha4900]

Está ótimo o conteúdo do seu canal, parabéns! Tenho uma sugestão sobre esse vídeo: Se acrescentarmos o atributo _OrderId_PRICE_NoIndex_True depois do nome do produto a lista sairá em ordem decrescente de preço. Ex: response = requests.get(url_base + produto_nome + '_OrderId_PRICE_NoIndex_True')

[@GaBa831]

Conteúdo muito top, Walisson! Parabéns

[@WalissonSilva]

Muito obrigado pelo feedback, cara!!

[@Leozinho222333]

Maravilhoso o exemplo Professor. Parabéns mais uma vez.

[@toquesdoariel]

Essa série ficou boa demais! Parabéns pelo conteúdo! 👏👏👏

[@WalissonSilva]

Obrigado pelo feedback, cara!!

[@MiguelB00]

Conteúdo top, obrigado por nos ajudar!

[@Edsonsales94]

Acabou de ganhar mais escrito, que isso meu rei !!! didática maaaassa

[@antonioribeiro1988]

A didática é top! Parabéns!!

[@netreis1]

Olá! Vendo esse vídeo agora(10/2023) e tentando aplicar, constato a dificuldade que se tornou raspar produtos e preços no Mercado Livre. Seria pedir muito uma vídeo atualizado? Parabéns pelo trabalho!

[@andersonbispo4169]

Mano Parabéns por compartilhar conteúdo de excelente qualidade e com uma didática incrível, alias, me inspirou a criar minhas próprias aulas/dicas para ajudar mais pessoas e aprender muito mais. Obrigado por compartilhar e também por sua humildade. Gostaria de sugerir uma situação, por exemplo como buscar dados via redes sociais, seria interessante um projeto mais robusto do tipo buscando dados de todas as redes sociais. Se possível tenta trazer esse projetinho pra gente!! Sucesso!

[@renanmoreira6133]

Ótima didática! Ótimo conteúdo! Parabéns e obrigado por compartilhar, Walisson!

[@jorgeleonardonesi838]

Excelente!!!

[@marcosoliveira8731]

Que aula cara!

[@gustavofgo]

Excelente aula! Obrigado! Dúvida: como que faz pra exportar esse resultado para uma planilha?

[@Bia-kf7fo]

na aula anterior a essa ele explica no final

[@AlbertoBezerraProf]

Sensacional a didática!!

[@WalissonSilva]

Muito obrigado pelo feedback, Alberto!!

[@marcosviniciusrocha2660]

Velho, valeu mesmo! Ficou bem fácil de entender.

[@rodrigomoro8047]

ótima aula!!! eu consegui fazer tudo, só percebi que os valores trazidos no console não estão na mesma ordem dos anúncios dentro do Mercado Livre. Sabe qual poderia ser o motivo? Obrigado

[@brunotcdurante]

Mestre, quando o site é em asp/javascript e não temos a URL específica tal como o exemplo da aula?

[@extremetrader9418]

Ficou muito interessante, estou precisando criar um sistema com essa mesma idéia...porém como eu faria para buscar as informações de um determinado produto em vários sites? Poderia criar uma lista de urls, por exemplo: url_lista = [site1, site2, sit3]...seria isso?

[@rgiz7675]

muito obrigado pelo conteudo ! so uma duvida, aparentemente ele nao raspa o site todo, existe algum comando pra pegar todas as paginas ?

[@felipe3975]

O mercado livre está usando agora uma renderização dinamica? Não estou conseguindo fazer o exemplo do github rodar na minha máquina

[@kaka-okada]

Show

[@gilewerton]

E se eu precisasse fazer uma busca uma quantidade x de produtos e a busca fosse pra ser feita no zoom/buscapé e eu quisesse pegar apenas o primeiro resultado da busca para cada produto?

[@AndersonAlbuquerque]

o que fazer quando você tenta extrair dados de um site e ele identifica que você não é um humano e te bloqueia? o site diz que parece um atack de ddos e não permite continuar o processo. ex: o site social blade que mostra informações de canais do youtube e outras redes sociais

[@matheusbotelho5129]

ward

[@ekcardoso]

tem que especificar um user-agent pro request

[@icaroalexandre5992]

Olá, por favor me responde uma coisa. Não consigo extrair o text de uma 'p' class. O codigo é o seguinte: subtitulo = noticia.find('p', attrs ={'class' : 'c-headline__standfirst'}) mas retorna o erro: 'NoneType' object has no attribute 'text'

[@rosilenesoares9392]

Top demais!!

[@thiago3935]

cara quando eu uso o pretiffy ele fica dando erro mas quando eu só dou um print ele fica normal pode me ajudar o erro é esse: Traceback (most recent call last): File "C:\Users\assas\OneDrive\Área de Trabalho\teste2\t.py", line 21, in print(stock.pretiffy()) AttributeError: 'ResultSet' object has no attribute 'pretiffy'

[@WalissonSilva]

Fala, cara! Pelo erro que você anexou, acredito que possa ser a escrita do método mesmo. Tipo, o certo seria 'prettify' (com dois t e um f), ao invés de 'pretiffy', sabe? Acredito que apenas isso já deve resolver o teu problema, mas qualquer coisa, estou por aqui, beleza? ;)

[@ShoccerOFC]

Amigo, se a variável stock estiver sendo buscado a informação já no formato .text ele vai dar eero mesmo. Espero ter ajudado.

[@viniciuskoncicoski5462]

Eu estava com um erro parecido, mas estava aparecendo 'Nonetype' ou 'None', ai peguei o código pronto e estava comparando com o meu, na variável 'response ' eu estava fazendo a junção de: (url_base + produto_nome) com ',' ao invés de estar fazendo com '+'. Ai trocando isso e voltou a funcionar perfeitamente.

[@nooberon]

Opa, tudo bem? Pode me explicar porque quando voce muda "produto" pra "produtos" o código ainda sabe o que é o "produto" que voce fala a seguir? Eu imaginava que voce teria que identificar o que era o produto, falando por exemplo "produto = site.find (...)", entende?

[@wagnerweimer]

Como fazer pra pegas preços de imagens?

[@arkeman]

Pq nao procurar o titulo direto da variavel site, jah que ela contem o HTML da pagina toda?

[@kabidi8900]

Que cara bom

[@schiavigamer5002]

Páginas sem essa parte do link são possíveis fazer scraping?

[@rafa0ghe]

Eu nunca tinha feito absolutamente nada envolvendo programação e as suas aulas foram ótimas, consegui fazer o passo a passo mas trazendo para outro site (olx)! Estou ansioso pelas aulas de selenium! Tenho uma pergunta, atualmente tenho 27 anos e ainda não me "encontrei" no mundo profissional, tenho um bom emprego mas ainda não é o que gosto de fazer! Você acha que nessa idade seria "tarde" demais para entrar na area profissional de programação?

[@jhonmask2359]

A pergunta não foi para me, más acho que não é tarde. Pelo contrario o mercado esta em falta de profissionais da área, com certeza vai conseguir algo, principalmente porque é o que gosta de fazer. Esse ano já quero iniciar ensino superior em Gestão de TI é bem em conta o valor e o curso dura apenas 2 anos e meio

[@WalissonSilva]

Fala, Rafael! Cara, perdão pela demora a te responder... Primeiramente, fico feliz demais em saber que o conteúdo tem sido útil para você, e que está dando para acompanhar tudo que está sendo passado. Quando à tua pergunta, como o John comentou anteriormente, eu também acredito que não é tarde. Na verdade, você ainda está jovem para iniciar, se esse for o seu desejo; pode crer! haha. Conheço vários casos de pessoas que iniciaram depois e conseguiram ir muito longe em pouco tempo. A questão é apenas ter em mente o seu objetivo com programação (onde você quer chegar/trabalhar), com base nisso ter sua rotina de estudos, foco e consistência. Se você não tem muito tempo, tenta dedicar apenas de 30min a 1h por dia, que você já vai perceber a diferença incrível que isso vai fazer no teu aprendizado a curto/médio prazo (penso até em fazer um vídeo comentando sobre estratégias de estudo da programação). Enfim, basicamente, é isso. Fica aí o meu incentivo para você, cara. E o conteúdo de Selenium já está quase saindo; além de outras novidades que eu vou trazer aqui para o canal. Grande abraço e sucesso, cara! Qualquer coisa, estou por aqui!

[@topdronesmgtopdrones347]

Pois eu tenho 50 anos e tenho crtz de q não é tarde para aprender e isso trazer bons resultados não apenas numa carreira profissional convencional a q somos impostos pela família e pela sociedade, dentro da própria empresa onde estivermos ou alguma outra, mas PRINCIPALMENTE no mundo do empreendedorismo qnd se consegue ir além das perspectivas de crenças limitantes q mts de nos tem internalizadas

[@alexanddretgneto2023]

Valew!

[@joaopaulobittencourt7497]

Boa noite Walisson Fica retornando esse erro pra mim e nao acho como solucionar return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode character '\u2713' in position 35155: character maps to Poderia me ajuda?

[@paulocesarhemialvesdamota9797]

Boa tarde a todos copiei o código todo até a parte de imprimir o produto.prettify() , porem no momento em que eu imprimo o produto.prettify() só retorna a msg que o objeto prettify não está atribuído , será que alguém ai pode me ajudar com essa duvida ? , já tem uns 15 dias que procuro essa resposta e não encontro onde estou errando.

[@marcosmendes7203]

eu tentei fazer pelo site da pichau e não consegui

[@pauloboldrini9615]

Professor, tenho uma dúvida. Estou tentando criar um DataFrame, porém real e centavo estão ficando em colunas distintas. Como eu poderia fazer para criar Real e Centavos em uma única coluna?

[@bruno-dev]

antes de vc colocar os reais e centavos na lista que vc esta tranformando em dataframe, concatene os reais e centavos... ai eles vao ir pro mesmo lugar... ou no pandas mesmo crie uma nova coluca concatenando essas duas que vc ja criou, tem mtas formas de fazer isso

[@johnaraujo6689]

Como enviar esses dados para um grupo do telegram via API?

[@cdvobserv8315]

Muito bom *-*

[@plavc-plataformavalorconsu7683]

Cara muito obrigado pelos conteudos, muito show. Selenium vaio rolar quando? Parabéns

[@WalissonSilva]

Eu que agradeço pelo apoio! Nessa semana vamos ter o vídeo sobre Selenium! ;)

[@victorferreiraalves3096]

Eu queria ajuda em uma busca aqui, na minha busca é sobre carro e eu queria retornar também a quilometragem, porem os atributos sao iguais, mas ele retorna o primeiro (o ano), e eu queria que retornasse o segundo que esta a quilometragem, segue o fragmento. Como eu resolvo isso? 2018 74.458 Km

[@alexanddretgneto2023]

Gastar meia hora pra assistir isso ao invés de tá assistindo a anita rebolando, é muito gratificante!

[@dionesgomes3665]

Muito bom, funcionou muito bem, só n funciona com a bet 365(digo o beautifulsoup e o selênio tbm), existe alguma explicação pra isso? Quanto as aulas, cara em poucos vídeos, tive esclarecimentos de várias coisas, obrigado de verdade.

[@isaquecrazy]

já tem um tempo que estou tentando fazer isso e nunca da certo... já testei com vários sites diferentes, vários códigos diferentes, e nada...

[@AlexandreXavierG]

Não consegui passar para o excel

[@Ologicodoobvio]

Muito top seu conteúdo Walisson, por acaso você faz mentoria cara ??

[@WalissonSilva]

Fala, Wesley! Muito obrigado pelo feedback, man!! Faço, sim! Qualquer coisa, entra em contato comigo pelo email: [e-mail]

[@caiopjv]

Muito boa essa série. Parabéns! Eu fiquei com uma dúvida. Nesse vídeo, você usou response.text. Nos outros, usou response.content. Isso faz alguma diferença? Ou são duas formas de se fazer a mesma coisa?

[@MrRadkim]

Oi, cara seu conteudo me ajudou bastante, mas ainda estou com problemas com sites que existem resultados em outras paginas e os links estão conectados a uma função em javascript, conhece uma forma de mudar de pagina e pegar os resultados das proximas paginas?

[@JOÃOVICTORFERREIRASANTOS-f1o]

Estou fazendo um projeto e seus videos estão me ajudando muito. Estou precisando de ajuda em uma parte dessa programação, na parte em que tem que aparecer o primeiro valor ( os Reais) por algum motivo ora mim esta aparecendo um valor diferente do que esta no site, alguem sabe como resolvo isso?

[@maysonsilva7834]

Olá, Walisson. Excelente aula. Por favor, se puder me ajudar, estou com um problema na hora de obter o preço do produto. Fiz exatamente como você ensinou, mas ainda sim dá o erro Traceback (most recent call last): File "C:\Users\Meyson\PycharmProjects\WEB_SCRAPING_CANAL_WALISSON_SILVA\Exemplo I\mercado_livre.py", line 30, in print('Preço do Produto: ', real.text + ',' + centavos.text) AttributeError: 'NoneType' object has no attribute 'text' Já inspecionei o elemento pra ver se a tag está correta e esta normal, o que pode ser?

[@WalissonSilva]

Obrigado pelo feedback, Mayson!!! Cara, pelo o que eu pude observar aqui, acredito que seja porque em algum (ou alguns) dos produtos não existe a informação dos centavos. Acredito que em algum momento do vídeo eu comentei sobre isso, mas basicamente você teria que colocar um if para verificar se a variável centavos é diferente de None. Talvez somente isso já deva resolver o teu problema. Qualquer coisa, estou por aqui! ;)

[@gabrielmaia788]

Ótimo vídeo!!!!! Pode me tirar uma dúvida ? Qual linux você está utilizando ?

[@WalissonSilva]

Obrigado pelo feedback, Gabriel! Cara, estou utilizando o Ubuntu KDE (Kubuntu) com um tema diferente (Dracula). =)