#05 - Busca Automatizada por Produtos | Web Scraping com Python

[@JoaoSantos-jb7ul]

Mais um excelente vídeo, Walisson, obrigado! Assistindo em 11 de outubro de 2024! Estas dicas para contornar problemas durante uma raspagem de dados são excelentes! 👍👍👍

[@desarme5853]

Cara, muito obrigado de verdade! Não é toda hora que se encontra um conteúdo tão bem explicado assim, por sinal gratuito! Show e sucesso com o canal manin!

[@WalissonSilva]

Cara, agradeço demais pelo feedback!! É bem motivador receber um feedback como esse. Desejo muito que o conteúdo do canal seja cada vez mais relavante e proveitoso para vocês! Muito obrigado pelo apoio, brother! Grande abraço!

[@reaprendendoaviver9372]

Obrigado por compartilhar seu conhecimento. Sua didática é sensacional. Parabéns!!!

[@WalissonSilva]

Muito obrigado pelo feedback, Cristiano!! Isso é um grande incentivo para o meu trabalho. Grande abraço, cara!!

[@PedroSantosFullsTack]

mano vc explica muito bem didatica maravilhosa, Deus te abençoe.

[@WalissonSilva]

Amém, mano! Agradeço demais pelo feedback!! 😄

[@lucasmenezesn2013]

Vendo as aulas em 2024. Obrigado pelo conteúdo!

[@Andersonkn10]

Muito bom! Explica muito bem, muito fácil de entender. Faz um ensinando como fazer um loop para raspagem de várias páginas

[@sandroff]

Show. Parabéns. Muito obrigado. Fiz meu primeiro web scraping!!!!

[@WalissonSilva]

@@sandroff Parabéns!!

[@osoriomatucurane9511]

Aula sensacional, na minha lista dos top 10 na raspagem de dado com a bs4. Unica aula que ja encontrei explrando bem a complementaridade dos dois métodos findall e find. 1. O find_all faz o tralho preliminar e retorna uma lista. 2. Montar um for loop para passear pelos elementos da lista um por um. 3. Solicitar os serviços do find para extrair os textos desejados em cada elemento da lista. Achei top a forma como concertou aquela situação dum dos elementos k mostrava se diferente dos outros, colacando uma aquela condição. Parabéns, ❤❤❤ es um um autêntico Mestre!

[@WalissonSilva]

Muito obrigado!! 😄

[@brunomacedo8234]

CARAMBA que aula espetacular mano!!!!!!!!!!!!!!!!

[@WalissonSilva]

Valeu pelo feedback, Bruno!! 😄 Sucesso pra você, mano! 🚀

[@Pablo1000k]

Show de aula. Espero que continue.

[@WalissonSilva]

Muito obrigado pelo feedback!! Amanhã já tem vídeo novo dessa série, inclusive! ;)

[@igorsilveira3584]

Parabens pelo conteúdo, Walisson. Sou Engenheiro Civil, e gosto muito dessa parte automotiva de processos, pois vejo que, sabendo explorar, acrescenta muito nas tarefas diárias, otimiza muito tempo.

[@asbjjvi]

Obrigado por compartilhar conhecimento, aprendendo bastante com seus vídeos. Poste mais. :)

[@WalissonSilva]

Muito obrigado pelo apoio, Fabiano!! Pode deixar; vai vir mais conteúdo em breve! haha

[@melrocha8670]

Video top, consegui acompanhar as explicações

[@mathikan]

Cara, vc é um professor sensacional.

[@natangaspar4706]

Irmão, que vídeo sensacional! Estou a alguns dias tentando começar no web scrapping tentei com vários métodos e vários vídeos, só com o seu consegui fazer. Ótima didática e ótimo conteúdo, muito obrigado por me ajudar!

[@andersontolfo7773]

Conteúdo e didática realmente incríveis!!!

[@Bia-kf7fo]

Adorei! muito obrigada pelo tempo de ensinar para gente tudo isso

[@FlavioBernardesFlaberBR]

Gosto do que voce faz e como voce faz cara !!! Parabéns e obrigado.

[@WalissonSilva]

Muito obrigado pelo feedback, Flavio!!

[@EdsonMoraesProfUniversitario]

Parabéns Walisson, já estou na melhor idade, sou professor de TI {afastado desde 2014}, mas nunca programei, sou especialista em documentação. Já até dei aulas sobre fundamentos de Java, Lógica de Programação, MySql...e somente agora que me interessei em desenvolver em Python, pois creio que é a linguagem que revolucionará a internet das coisas, Já imaginou que seu fogão a gás (através de um código em Py, perceberá pelo peso do botijão que está quase acabando) utilizará seu cartão de crédito (ou id) e acessar a internet e comprar em determinado fornecedor (cadastrado por vc)...é fantástico né? muito obrigado por passar conhecimento, eu tbm sempre faço isso. Abraços

[@Jack-ss4re]

Muito legal ler isso :)

[@rafaelnoleto2857]

Ótima explicação! Parabéns pelo vídeo! Ganhou um inscrito e um fã!

[@condejair]

Extremamente proveitosa sua aula

[@macrocodex07]

Muito top seus videos, playlist top, estou assistindo e fazendo tudo

[@RodrigodeFCunha]

Sem sombras de dúvida, um dos melhores conteúdos sobre Python em português. Muito bom mesmo, continue assim! Por favor, faça vídeos sobre a Selenium haha

[@WalissonSilva]

Poxa, muito obrigado, Rodrigo!! Muito bom saber que o conteúdo está sendo relevante, cara! E, aproveitando, amanhã tem vídeo sobre Selenium! ;)

[@PY7DX]

Parabéns Walisson, nota 10 pela didática, paciência e conteúdo grátis para auxiliar e dar a mão a quem realmente necessita. Deus te abençoe sempre.

[@WalissonSilva]

Muito obrigado pelo feedback, Edilson! Para mim, é um grande prazer passar esse conhecimento para vocês! Qualquer coisa, estou por aqui!

[@viniciuskoncicoski5462]

Passando aqui novamente para agradecer pelo conteúdo. Espero que possa continuar com os vídeos.

[@themarlonmiguel]

Muito boa sua didática. Parabéns!

[@periscotadealmeida7186]

Fala Walisson, queria te agradecer muito seu conteúdo foi direto ao ponto sem enrolar muito, calmo e tranquilo ao tratar os erros, estava assistindo os videos da UDEMY mas nenhum deles foi tão perfeito quanto ao seu muito obrigado meu velho.

[@wagnerjunior3782]

Cara parabéns pelo conteúdo, que didática fantástica, já vi vários conteúdo sobre o bs4, mas o seu de longe é o melhor. Mais uma vez parabéns, ganhou mais um inscrito.

[@boladaoshoww]

Cara, como vc não tem 1m de inscritos.. conteudo toop. parabens

[@franapmachado]

Como poucos, consegue fazer tudo parecer fácil! Valeu!

[@diogo_ferrarezi]

só um comentário aleatório rsrs.. legal que cada vídeo ta num sistema operacional rsrs. E cara obrigado pelo conteudo, top demais

[@supratecmidia5650]

Valeu irmão, curti pracas. Deveria fazer mais videos assim com projetos práticos!!!

[@victorrocha70]

Aula simplesmente impecável!!

[@LincesMarques]

Cara sua didática é muito boa mesmo, parabéns.

[@NoobCodeSaga]

Sensacional, não ficou nenhuma dúvida hahaha

[@brunomacedo8234]

Deus te pague, meu jovem

[@Leozinho222333]

Maravilhoso o exemplo Professor. Parabéns mais uma vez.

[@romualdo10279]

Parabéns muito bom. Ótimo conteúdo e explicação me ajudou muito tinha algumas dúvidas e vc esclareceu 👍

[@WalissonSilva]

Que legal, Fabiano!! Fico muito feliz por isso! Muito obrigado pelo feedback!!

[@yurikruk]

O cara é muito brabo

[@FabioRBelotto]

Muito bom o vídeo. Parabéns.

[@toquesdoariel]

Essa série ficou boa demais! Parabéns pelo conteúdo! 👏👏👏

[@WalissonSilva]

Obrigado pelo feedback, cara!!

[@rebeliaodamenteoficial1575]

Topzera, vou realizar uma aplicação dessa no meu trabalho vai me gerar muitos frutos com ctz 🙏

[@antonioribeiro1988]

A didática é top! Parabéns!!

[@VeniltonSiqueira]

Muito bom! Primeiro vídeo seu que eu assisto e já foi suficiente para me inscrever no canal, muito bem explicado. Obrigado. Aproveito para fazer uma sugestão: ensina a buscar os produtos em todas as páginas e não somente na primeira. Parabéns pelo vídeo. Agora vou olhar os seus outros vídeos.

[@jhonmask2359]

Show o video! Estamos esperando ansiosamente pelo selenium!!!!!

[@gabrielmartinssilva9233]

Muito TOP!!!! Sem palavras, Parabéns pelo conteúdo! 👏

[@andrerocha4900]

Está ótimo o conteúdo do seu canal, parabéns! Tenho uma sugestão sobre esse vídeo: Se acrescentarmos o atributo _OrderId_PRICE_NoIndex_True depois do nome do produto a lista sairá em ordem decrescente de preço. Ex: response = requests.get(url_base + produto_nome + '_OrderId_PRICE_NoIndex_True')

[@viniciusbruno2340]

Vídeo muito bom, gostei muito. Gostei também do seu thema de sistema e icones, pode compartilhar quais themas e icones que vc usa?!

[@pececarvalho]

Show de bola

[@Edsonsales94]

Acabou de ganhar mais escrito, que isso meu rei !!! didática maaaassa

[@renanmoreira6133]

Ótima didática! Ótimo conteúdo! Parabéns e obrigado por compartilhar, Walisson!

[@rodrigo73329]

conteudo top demais

[@GaBa831]

Conteúdo muito top, Walisson! Parabéns

[@WalissonSilva]

Muito obrigado pelo feedback, cara!!

[@jorgeleonardonesi838]

Excelente!!!

[@miguelb.6528]

Conteúdo top, obrigado por nos ajudar!

[@netreis1]

Olá! Vendo esse vídeo agora(10/2023) e tentando aplicar, constato a dificuldade que se tornou raspar produtos e preços no Mercado Livre. Seria pedir muito uma vídeo atualizado? Parabéns pelo trabalho!

[@AlbertoBezerraProf]

Sensacional a didática!!

[@WalissonSilva]

Muito obrigado pelo feedback, Alberto!!

[@andersonbispo4169]

Mano Parabéns por compartilhar conteúdo de excelente qualidade e com uma didática incrível, alias, me inspirou a criar minhas próprias aulas/dicas para ajudar mais pessoas e aprender muito mais. Obrigado por compartilhar e também por sua humildade. Gostaria de sugerir uma situação, por exemplo como buscar dados via redes sociais, seria interessante um projeto mais robusto do tipo buscando dados de todas as redes sociais. Se possível tenta trazer esse projetinho pra gente!! Sucesso!

[@VictorSIlva-om3in]

Maratonei !!!

[@marcosviniciusrocha2660]

Velho, valeu mesmo! Ficou bem fácil de entender.

[@cerp69]

Com o site do Mercado Livre deu certinho, mas no site do Shopee não consegui fazer! Ele retorna um monte de códigos "malucos" do requests! Não dá para encontrar nada! Por que isso acontece? Parabéns pelos vídeos. Estou aprendendo muito aqui!

[@marcosoliveira8731]

Que aula cara!

[@eotcholas5884]

tentei fazer no site do zoom e nao formatou a url deu erro alguma dica tinha varios simbolos a mais representando espacamentos e coisas assim

[@nooberon]

Opa, tudo bem? Pode me explicar porque quando voce muda "produto" pra "produtos" o código ainda sabe o que é o "produto" que voce fala a seguir? Eu imaginava que voce teria que identificar o que era o produto, falando por exemplo "produto = site.find (...)", entende?

[@extremetrader9418]

Ficou muito interessante, estou precisando criar um sistema com essa mesma idéia...porém como eu faria para buscar as informações de um determinado produto em vários sites? Poderia criar uma lista de urls, por exemplo: url_lista = [site1, site2, sit3]...seria isso?

[@felipe3975]

O mercado livre está usando agora uma renderização dinamica? Não estou conseguindo fazer o exemplo do github rodar na minha máquina

[@rafa0ghe]

Eu nunca tinha feito absolutamente nada envolvendo programação e as suas aulas foram ótimas, consegui fazer o passo a passo mas trazendo para outro site (olx)! Estou ansioso pelas aulas de selenium! Tenho uma pergunta, atualmente tenho 27 anos e ainda não me "encontrei" no mundo profissional, tenho um bom emprego mas ainda não é o que gosto de fazer! Você acha que nessa idade seria "tarde" demais para entrar na area profissional de programação?

[@jhonmask2359]

A pergunta não foi para me, más acho que não é tarde. Pelo contrario o mercado esta em falta de profissionais da área, com certeza vai conseguir algo, principalmente porque é o que gosta de fazer. Esse ano já quero iniciar ensino superior em Gestão de TI é bem em conta o valor e o curso dura apenas 2 anos e meio

[@WalissonSilva]

Fala, Rafael! Cara, perdão pela demora a te responder... Primeiramente, fico feliz demais em saber que o conteúdo tem sido útil para você, e que está dando para acompanhar tudo que está sendo passado. Quando à tua pergunta, como o John comentou anteriormente, eu também acredito que não é tarde. Na verdade, você ainda está jovem para iniciar, se esse for o seu desejo; pode crer! haha. Conheço vários casos de pessoas que iniciaram depois e conseguiram ir muito longe em pouco tempo. A questão é apenas ter em mente o seu objetivo com programação (onde você quer chegar/trabalhar), com base nisso ter sua rotina de estudos, foco e consistência. Se você não tem muito tempo, tenta dedicar apenas de 30min a 1h por dia, que você já vai perceber a diferença incrível que isso vai fazer no teu aprendizado a curto/médio prazo (penso até em fazer um vídeo comentando sobre estratégias de estudo da programação). Enfim, basicamente, é isso. Fica aí o meu incentivo para você, cara. E o conteúdo de Selenium já está quase saindo; além de outras novidades que eu vou trazer aqui para o canal. Grande abraço e sucesso, cara! Qualquer coisa, estou por aqui!

[@topdronesmgtopdrones347]

Pois eu tenho 50 anos e tenho crtz de q não é tarde para aprender e isso trazer bons resultados não apenas numa carreira profissional convencional a q somos impostos pela família e pela sociedade, dentro da própria empresa onde estivermos ou alguma outra, mas PRINCIPALMENTE no mundo do empreendedorismo qnd se consegue ir além das perspectivas de crenças limitantes q mts de nos tem internalizadas

[@gustavofgo]

Excelente aula! Obrigado! Dúvida: como que faz pra exportar esse resultado para uma planilha?

[@Bia-kf7fo]

na aula anterior a essa ele explica no final

[@rafaelfael1606]

Obrigado

[@icaroalexandre5992]

Olá, por favor me responde uma coisa. Não consigo extrair o text de uma 'p' class. O codigo é o seguinte: subtitulo = noticia.find('p', attrs ={'class' : 'c-headline__standfirst'}) mas retorna o erro: 'NoneType' object has no attribute 'text'

[@alexanddretgneto2023]

Gastar meia hora pra assistir isso ao invés de tá assistindo a anita rebolando, é muito gratificante!

[@rosilenesoares9392]

Top demais!!

[@Neanderthale]

Explica muito bem! 😆 Aprendi muito vendo a aula 1 até a 4 e continuarei assistindo a playlist. ✌ Obs.: Se eu quisesse pegar o produto com o maior valor dentre todos, dava para fazer isso com os ensinamentos da aula 1 até a 4? Só iniciante e as vezes me falta lógica 😢

[@topdronesmgtopdrones347]

Tb estou apanhando dessa lógica, mas se entendi bem, depois de incluir tudo dentro de um dataframe no pandas ou ate msm transferir para o excel, o ceu eh o limite

[@brunoserp]

dps que criou o dataframe vc tem que ver como fazer isso no pandas

[@rodrigomoro8047]

ótima aula!!! eu consegui fazer tudo, só percebi que os valores trazidos no console não estão na mesma ordem dos anúncios dentro do Mercado Livre. Sabe qual poderia ser o motivo? Obrigado

[@brunotcdurante]

Mestre, quando o site é em asp/javascript e não temos a URL específica tal como o exemplo da aula?

[@PedroLotif]

Podia mostrar um exemplo de webscrapping em site que necessita login e fazer multiplas buscas, coletando info de cada uma em um run só

[@duda5346]

Conseguiu achar uma solução para isso?

[@joaopaulobittencourt7497]

Boa noite Walisson Fica retornando esse erro pra mim e nao acho como solucionar return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode character '\u2713' in position 35155: character maps to Poderia me ajuda?

[@arkeman]

Pq nao procurar o titulo direto da variavel site, jah que ela contem o HTML da pagina toda?

[@schiavigamer5002]

Páginas sem essa parte do link são possíveis fazer scraping?

[@kabidi8900]

Que cara bom

[@AndersonAlbuquerque]

o que fazer quando você tenta extrair dados de um site e ele identifica que você não é um humano e te bloqueia? o site diz que parece um atack de ddos e não permite continuar o processo. ex: o site social blade que mostra informações de canais do youtube e outras redes sociais

[@matheusbotelho5129]

ward

[@erickcardoso225]

tem que especificar um user-agent pro request

[@plavc-plataformavalorconsu7683]

Cara muito obrigado pelos conteudos, muito show. Selenium vaio rolar quando? Parabéns

[@WalissonSilva]

Eu que agradeço pelo apoio! Nessa semana vamos ter o vídeo sobre Selenium! ;)

[@rgiz7675]

muito obrigado pelo conteudo ! so uma duvida, aparentemente ele nao raspa o site todo, existe algum comando pra pegar todas as paginas ?

[@dionesgomes3665]

Muito bom, funcionou muito bem, só n funciona com a bet 365(digo o beautifulsoup e o selênio tbm), existe alguma explicação pra isso? Quanto as aulas, cara em poucos vídeos, tive esclarecimentos de várias coisas, obrigado de verdade.

[@caiopjv]

Muito boa essa série. Parabéns! Eu fiquei com uma dúvida. Nesse vídeo, você usou response.text. Nos outros, usou response.content. Isso faz alguma diferença? Ou são duas formas de se fazer a mesma coisa?

[@gilewerton]

E se eu precisasse fazer uma busca uma quantidade x de produtos e a busca fosse pra ser feita no zoom/buscapé e eu quisesse pegar apenas o primeiro resultado da busca para cada produto?

[@thiago3935]

cara quando eu uso o pretiffy ele fica dando erro mas quando eu só dou um print ele fica normal pode me ajudar o erro é esse: Traceback (most recent call last): File "C:\Users\assas\OneDrive\Área de Trabalho\teste2\t.py", line 21, in print(stock.pretiffy()) AttributeError: 'ResultSet' object has no attribute 'pretiffy'

[@WalissonSilva]

Fala, cara! Pelo erro que você anexou, acredito que possa ser a escrita do método mesmo. Tipo, o certo seria 'prettify' (com dois t e um f), ao invés de 'pretiffy', sabe? Acredito que apenas isso já deve resolver o teu problema, mas qualquer coisa, estou por aqui, beleza? ;)

[@ShoccerOFC]

Amigo, se a variável stock estiver sendo buscado a informação já no formato .text ele vai dar eero mesmo. Espero ter ajudado.

[@viniciuskoncicoski5462]

Eu estava com um erro parecido, mas estava aparecendo 'Nonetype' ou 'None', ai peguei o código pronto e estava comparando com o meu, na variável 'response ' eu estava fazendo a junção de: (url_base + produto_nome) com ',' ao invés de estar fazendo com '+'. Ai trocando isso e voltou a funcionar perfeitamente.

[@Ologicodoobvio]

Muito top seu conteúdo Walisson, por acaso você faz mentoria cara ??

[@WalissonSilva]

Fala, Wesley! Muito obrigado pelo feedback, man!! Faço, sim! Qualquer coisa, entra em contato comigo pelo email: [e-mail]

[@euvendedoronline]

acho que hj o link de busca do mercado livre ja mudou de forma!

[@richardperes4715]

Fala cara !! Boa noite , parabéns pela iniciativa!! Muito top e muito bem explicado , só uma pergunta, entendi todo o processo, o que eu não entendi é que ao rodar o cod se buscar por um produto específico tipo nike, ele não trás as informações. O que pode estar acontecendo ?

[@pedr9vskcray2102]

então eu tava fazendo alguns testes enquanto estudava e percebi que o código do vídeo funciona com todos os produtos dessa lista aqui: Produtos que funcionam: iphone 14, mi band 5, samsung galaxy, motorola, smartphone, nokia percebe algum padrão? todos são produtos de tecnologia provavelmente o mercado livre tem diferentes categorias e de quebra diferentes códigos para diferentes categorias de produtos

[@cdvobserv8315]

Muito bom *-*

[@FelipeRodrigues-y8x]

Parabéns pelo conteúdo. Testei o código hoje 15/07/24 e não retorna nada.

[@gabrielmaia788]

Ótimo vídeo!!!!! Pode me tirar uma dúvida ? Qual linux você está utilizando ?

[@WalissonSilva]

Obrigado pelo feedback, Gabriel! Cara, estou utilizando o Ubuntu KDE (Kubuntu) com um tema diferente (Dracula). =)

[@isaquecrazy]

já tem um tempo que estou tentando fazer isso e nunca da certo... já testei com vários sites diferentes, vários códigos diferentes, e nada...

[@pauloboldrini9615]

Professor, tenho uma dúvida. Estou tentando criar um DataFrame, porém real e centavo estão ficando em colunas distintas. Como eu poderia fazer para criar Real e Centavos em uma única coluna?

[@bruno-dev]

antes de vc colocar os reais e centavos na lista que vc esta tranformando em dataframe, concatene os reais e centavos... ai eles vao ir pro mesmo lugar... ou no pandas mesmo crie uma nova coluca concatenando essas duas que vc ja criou, tem mtas formas de fazer isso

[@victorferreiraalves3096]

Eu queria ajuda em uma busca aqui, na minha busca é sobre carro e eu queria retornar também a quilometragem, porem os atributos sao iguais, mas ele retorna o primeiro (o ano), e eu queria que retornasse o segundo que esta a quilometragem, segue o fragmento. Como eu resolvo isso? 2018 74.458 Km

[@kaka-okada]

Show

[@alexanddretgneto2023]

Valew!

[@maysonsilva7834]

Olá, Walisson. Excelente aula. Por favor, se puder me ajudar, estou com um problema na hora de obter o preço do produto. Fiz exatamente como você ensinou, mas ainda sim dá o erro Traceback (most recent call last): File "C:\Users\Meyson\PycharmProjects\WEB_SCRAPING_CANAL_WALISSON_SILVA\Exemplo I\mercado_livre.py", line 30, in print('Preço do Produto: ', real.text + ',' + centavos.text) AttributeError: 'NoneType' object has no attribute 'text' Já inspecionei o elemento pra ver se a tag está correta e esta normal, o que pode ser?

[@WalissonSilva]

Obrigado pelo feedback, Mayson!!! Cara, pelo o que eu pude observar aqui, acredito que seja porque em algum (ou alguns) dos produtos não existe a informação dos centavos. Acredito que em algum momento do vídeo eu comentei sobre isso, mas basicamente você teria que colocar um if para verificar se a variável centavos é diferente de None. Talvez somente isso já deva resolver o teu problema. Qualquer coisa, estou por aqui! ;)

[@MrRadkim]

Oi, cara seu conteudo me ajudou bastante, mas ainda estou com problemas com sites que existem resultados em outras paginas e os links estão conectados a uma função em javascript, conhece uma forma de mudar de pagina e pegar os resultados das proximas paginas?