Como fazer web scraping com python em sites dinâmicos // O site muda toda hora

  Рет қаралды 78,203

Codifike

Codifike

Күн бұрын

Пікірлер: 303
@Codifike
@Codifike 29 күн бұрын
Descubra como se tornar um Engenheiro de Dados com o Método Data Pro: metododatapro.codifike.com.br/
@nokkreload
@nokkreload 5 ай бұрын
Excelente vídeo com exemplo da vida real. Estou cansado de ver vídeo no YT e em cursos da galera mostrando exemplos direcionados... sei que webscaping é algo complicado de ficar fazendo ou mostrando por questões legais. Mas o conteúdo é educacional, ninguém em sã consciência irá fazer 5 milhões de requisições num treinamento. Obrigado por compartilhar seus conhecimentos conosco. Ganho um inscrito.
@Codifike
@Codifike 3 ай бұрын
Obrigado
@PedroBazzarella
@PedroBazzarella 2 жыл бұрын
Fala Fabrício. Show o video. Curti! Uma biblioteca que acho bem legal é o Scrapy.
@Codifike
@Codifike 2 жыл бұрын
Fala Pedro. Obrigado. Sim , Scrapy é legal, mas so usei 1x
@stevenobrega
@stevenobrega 2 жыл бұрын
# Excelente tutorial, foi o melhor que encontrei depois de dias de busca na internet! Parabéns pela didática e obrigado pela informação! Ganhou mais um seguidor!!
@Codifike
@Codifike 2 жыл бұрын
Obrigado
@emersonnascimento1514
@emersonnascimento1514 2 жыл бұрын
Sensacional,.. Seu conteúdo gratuito bateu d+++ num determinado conteúdo pago q tem aqui no YT,..
@Codifike
@Codifike 2 жыл бұрын
Obrigado Emerson
@victorandrade6149
@victorandrade6149 2 жыл бұрын
Ajudou muito, eu estava penando para achar laço e estava apanhando ainda mais por está usando em um site de chamado.
@thallesgama8827
@thallesgama8827 Жыл бұрын
Fantástico, estava batendo cabeça demais pra resolver uns exercícios aqui ajudou demais!!
@dexty_u6503
@dexty_u6503 Жыл бұрын
Muito obrigado mano, te achei parecido com o Thomas Shelby mas isso é so um detalhe hahaha bela aula, Tmjj !!!
@gkekam03
@gkekam03 2 жыл бұрын
surreal a forma que você entrega o conteúdo, muito obrigado, facilitou muito Um grande professor!
@Codifike
@Codifike 2 жыл бұрын
Que bom que gostou
@orafaelgf
@orafaelgf 2 жыл бұрын
Ótimo vídeo, parabéns. Sugestão para o próximo: webscraping com método post, de algum site que precise selecionar filtros e depois exportar em csv ou xlsx.. obs: sem utilizar o selenium
@Codifike
@Codifike 2 жыл бұрын
Ótima sugestão! Mas usando o Selenium 😉
@rogerioviana2110
@rogerioviana2110 2 жыл бұрын
Cara, mais 1 inscrito! Deu certinho aqui.. só agradeço o compartilhamento desse conhecimento. Deus abençoe!
@Codifike
@Codifike 2 жыл бұрын
Que bom que ajudou
@alanjoffre02
@alanjoffre02 Жыл бұрын
Parabéns pela didática e conteúdo. Mais um inscrito!
@Codifike
@Codifike Жыл бұрын
Obrigado
@jonathansebastiao1
@jonathansebastiao1 2 жыл бұрын
Muito Bom Fabricio, gracas a seu outro video consgui fazer um web scraping. Gastei ums 2 dias, mas o codigo rodou. Não sou programador, mas me lancei nesse desafio de aprender uma linguagem esse ano. Valeu, sucesso.
@Codifike
@Codifike 2 жыл бұрын
Que bom Jonathan
@n0b0dy07
@n0b0dy07 8 ай бұрын
Top demais, não conhecia esse beautiful soup mas pelo que entendi, diferente do Selenium ele não precisa de um driver que avisa pro chrome que está sendo automatizado
@guilhermegodoi7628
@guilhermegodoi7628 2 жыл бұрын
Show de bola Fabrício ! Tô inscrito
@Codifike
@Codifike 2 жыл бұрын
Valeu obrigado
@EdmilsonBelem1608
@EdmilsonBelem1608 9 ай бұрын
Até agora tudo certinho, aula maravilhosa
@robeliobonfim256
@robeliobonfim256 Жыл бұрын
Boa noite. Também sou iniciante, mas consegui aprender facilmente . Parabéns pela excelente didática.
@Codifike
@Codifike Жыл бұрын
Que bom que ajudou
@marciocardoso8414
@marciocardoso8414 2 жыл бұрын
Parabéns to estudando esse tema pra fazer uns frela na upwork porém ainda tenho medo que fazer mas valeu to aprendendo bastante com seu material
@Codifike
@Codifike 2 жыл бұрын
Bons estudos!
@emPrata
@emPrata 2 жыл бұрын
Excelente os vídeos... me ajudou em muitas coisas.... Mas um problema que não consegui resolver é que o campo que eu quero está com a tag dentro com um document.write("
@efraimkristhianno5433
@efraimkristhianno5433 2 жыл бұрын
cara acabei de conseguir fazer aqui seguindo seus passos e demorei cerca de 5horas para ter o mesmo resultado que o seu, eu tive varios problemas como formatação de string outros relacionados a criaçao da planilha, mais entre mortos e feridos ficou o conhecimento adquirido graças a voçe, ja posso colocar la no meu linkedin que sei trabalhar Com webscraping, agora é aprofundar e fazer outros screpys em outros site, vou tentar manda por email agora essa planilha, que venham mais 5h pela frente kkkk
@Codifike
@Codifike 2 жыл бұрын
Que bom conseguiu Efraim. É assim mesmo,a gente demora mas não para até conseguir.
@rafaelkoga112
@rafaelkoga112 Жыл бұрын
Top demais! Parabéns pela vídeo aula, super didático!
@Codifike
@Codifike Жыл бұрын
Obrigados
@josefaccin
@josefaccin 2 жыл бұрын
Show de bola!!! Parabéns pela excelente didática!
@Codifike
@Codifike 2 жыл бұрын
Obrigado
@TatiLks
@TatiLks 2 жыл бұрын
Excelente! Obrigada por compartilhar seus conhecimentos de forma tão clara!
@Codifike
@Codifike 2 жыл бұрын
Eu q agradeço por ter assistido.
@RafinhaGama
@RafinhaGama Жыл бұрын
Salvou a minha vida cara, parabéns pelo conteúdo !!!!
@Codifike
@Codifike Жыл бұрын
Obrigado
@ONGSuporteUnionMundial
@ONGSuporteUnionMundial Жыл бұрын
muito bom, Sou teu fan agora em !!!!! Poderia criar um video usando o scrapy!!!
@Codifike
@Codifike Жыл бұрын
Boa sugestão!
@hitiban
@hitiban 2 жыл бұрын
Thanks so much for your thoughtful and detailed videos! On to the soft!
@PHCareli
@PHCareli 2 жыл бұрын
Pro pessoal que está recebendo o erro → AttributeError: 'NoneType' object has no attribute 'get_text'. Pode ser necessário alterar o header da request (variável "headers").
@hywrisilva2667
@hywrisilva2667 2 жыл бұрын
como?
@vitorruppel4868
@vitorruppel4868 2 жыл бұрын
falou falou e nao falou nada
@PHCareli
@PHCareli 2 жыл бұрын
Oh, o YT deletou meu comentário, mas procurem por "How Headers Are Used to Block Web Scrapers and How to Fix It" (é o título de uma matéria de um site mostrando alguns exemplos) ou algo do tipo, os primeiros sites devem conter variações e explicações do que pode ser adicionado no header para simular outro dispositivo.
@victorcoelho2216
@victorcoelho2216 Жыл бұрын
O correto é 'User-Agent' vê se é isso, no meu caso era
@Oquadrinheiro
@Oquadrinheiro 2 ай бұрын
​@@vitorruppel4868Ele explicou como faz. Nos é que não temos conhecimento pra entender
@matheusnogueiraribei
@matheusnogueiraribei 2 жыл бұрын
Fala Fabrício muito show cara! Poxa tô numa labuta aqui meu amigo, estou tentando agrupar dados históricos de notícias de ações mas tá difícil cara, não acho uma fonte que consiga puxar uma quantidade significativa de dados. Seria muito legal com vídeo com esse tema de como criar um dataset com as notícias de ações para Sentimental analisys
@Codifike
@Codifike 2 жыл бұрын
Olá Matheus, legal,gostei da ideia vou tentar pesquisar e se conseguir faço um vídeo sobre.
@iruzikyaraujo730
@iruzikyaraujo730 6 ай бұрын
Vídeo muito bom! Poderia falar um pouco sobre os problemas legais do web scraping? Gosto muito de fazer, mas sempre fico com medo de ter algum problema, mesmo fazendo poucas requisições por minuto
@ricardoalmeida7607
@ricardoalmeida7607 2 жыл бұрын
Deu certo.... testei em outro site com paginação diferente ... mas funcionou... obrigado
@Codifike
@Codifike 2 жыл бұрын
Que bom que ajudou
@diogosilva3728
@diogosilva3728 2 жыл бұрын
Top de mais , muito obrigado , teria como fazer um video buscando precos de passagem aereas ? seria pedir muito ? abracos e sucesso
@Codifike
@Codifike 2 жыл бұрын
Boa sugestão!
@98153089
@98153089 9 ай бұрын
muito bom ! continue postando! obrigado
@nandomatoos
@nandomatoos 2 жыл бұрын
Conteúdo sensacional. Muito Obrigado!!
@phoenyx51
@phoenyx51 2 жыл бұрын
Cara, que video fantástico!!
@Codifike
@Codifike 2 жыл бұрын
Que bom que gostou
@whyakari
@whyakari 2 жыл бұрын
muito obrigado pôr compartilhar seu conhecimento com o público.
@Codifike
@Codifike 2 жыл бұрын
😉👍
@dilson_muniz
@dilson_muniz Жыл бұрын
O rei do WebScraping👏👏👏👏
@Codifike
@Codifike Жыл бұрын
😁
@alexandrerodel706
@alexandrerodel706 2 жыл бұрын
Vale dois "joinhas", obrigado pelo vídeo!
@Codifike
@Codifike 2 жыл бұрын
Obrigado
@marchvic
@marchvic Жыл бұрын
Ficou muito bom ! Parabéns.
@Codifike
@Codifike Жыл бұрын
Obrigado
@efraimkristhianno5433
@efraimkristhianno5433 2 жыл бұрын
top amigo muito agradecido pelo conhecimento compartilhado
@Codifike
@Codifike 2 жыл бұрын
Eu q agradeço
@gersonkilderys1
@gersonkilderys1 Жыл бұрын
amigo muito bom seu vídeo 👏👏.... faz webscrapy em site feito em javascript.😊😊
@marcelox51
@marcelox51 2 жыл бұрын
Boa tarde galera. Fui executar o programa igual o professor no momento 9:29 do vídeo. Porém, o meu código retornou o seguinte erro: Traceback (most recent call last): File "C:\Users\marce\PycharmProjects\webscrapping\scrapping.py", line 13, in qtd_itens = soup.find('div', id='listingCount').get_text().strip() AttributeError: 'NoneType' object has no attribute 'get_text' O que devo fazer para soluciona-lo?
@Codifike
@Codifike 2 жыл бұрын
Oi Marcelo quer dizer que ele não encontrou o elemento que vc esta procurando no caos o listingcount
@marcelox51
@marcelox51 2 жыл бұрын
Muito obrigado pelo retorno. Neste caso, como eu faço pra conseguir retornar o valor que está na div que tem o id listcount? Imprimi a variável soup e o HTML dentro dela tá menor.
@viniciusrubia3656
@viniciusrubia3656 2 жыл бұрын
O meu também deu esse erro e não achei nada para solucionar
@Codifike
@Codifike 2 жыл бұрын
@@viniciusrubia3656 Inspeciona novamente o html o id ou a div pode ter mudado de nome
@caiquefontes2435
@caiquefontes2435 2 жыл бұрын
Fala marcelo, Provavelmente isso aconteceu pq na hr do computador acessar o site foi bloqueado. Experimente dar um print na variável "soup" do codigo do video. e veja se o terminal mostra a estrutura html ou uma linha de texto. se mostrar um linha de texto, o site esta bloqueando seu acesso. Tente realizar a tarefa em outro site, atualizar a versao do navegador ou trocar de navegador.
@jonasferreira9289
@jonasferreira9289 Жыл бұрын
excelente tutorial, parabéns 👏
@vitorlourenco8784
@vitorlourenco8784 2 жыл бұрын
+1 inscrito, like
@everton4400
@everton4400 2 жыл бұрын
Quando o site não tem a quantidade de itens nem de itens por pagina, como a paginação?
@n0b0dy07
@n0b0dy07 8 ай бұрын
A única coisa que eu mudaria seria colocar um regex do preço removendo o R$, eu não sei se o beautiful soup consegue trazer um array igual os find_elements do Selenium mas se sim daria pra trazer só pelo nome da classe pai daí não teria que lidar com os ids das filhas
@Kuzz7777
@Kuzz7777 2 жыл бұрын
Cara estou tentando fazer isso só que está dentro de um Teria como eu fazer dessa forma ou tem outra solução?
@pydata2.0
@pydata2.0 10 ай бұрын
neste caso do exemplo o site tem este elemento que mostra a quantidade de produtos, o que facilitou na lógica para encontrar a qtde de páginas. E nos casos em que o site gera centenas de páginas mas nao tem este elemento indicando a qtde de itens?
@Lumbrejacky
@Lumbrejacky Жыл бұрын
Ótima aula!
@andredesouza
@andredesouza Жыл бұрын
Vídeo TOP!
@Codifike
@Codifike Жыл бұрын
Obrigado 😃
@ricardolemos971
@ricardolemos971 2 жыл бұрын
Parabéns! Ótimo conteúdo, excelente iniciativa Resolvi testar, criei o Código com o mesmo exemplo, conferi linha a linha a sintaxe. mas ocorre um erro. na linha site = requests.get(url, headers=headers) name 'headers' is not defined. Did you mean: 'headers'? pensei em declarar essa variável, mas não funcionou. Poderia dar uma luz sobre este erro?
@praldemir
@praldemir 2 жыл бұрын
Fera demais me ajudou muito
@Codifike
@Codifike 2 жыл бұрын
Obrigado
@RafaelElmiroAdministrativo
@RafaelElmiroAdministrativo 3 ай бұрын
Boa tarde, tudo bem? Adorei o conteúdo do vídeo, parabéns! Eu fiquei com uma dúvida somente no final. eu consigo exportar as informações de forma organizada para ele cair diretamente no Google sheets?
@robsonalexandre3205
@robsonalexandre3205 Жыл бұрын
Sou iniciante, mas consegui aprender alguns conceitos importantes. Mas gostaria de elevar o nível do código, mas não sei como. Gostaria de permitir o usuário entrar com uma busca de parte do texto, depois procurar no DF as informações compatíveis com o texto buscado e por fim, retornar o menor valor da busca dele. Nem sei como começar isso!!!!
@zholdanimelyrics4276
@zholdanimelyrics4276 Жыл бұрын
depois de fazer web scraping com selenium e se arrepender aqui estou eu transformando meu codigo q usa selenium pra bs4
@HenriqueSouza2000
@HenriqueSouza2000 2 жыл бұрын
Pra mim já falhei no tutorial aos 1:05 , pq deu "Conda executable path is empty"
@Codifike
@Codifike Жыл бұрын
Oi Henrique , instalou o anaconda na sua máquina?
@DaveJunior
@DaveJunior 2 жыл бұрын
teria como criar um jeito de ele ficar analisando produtos que entram em promoção em sites como amazon e magazine luiza para eu enviar em lista pra clientes e assim ganhar dinheiro como afiliado?
@Codifike
@Codifike 2 жыл бұрын
Tem sim. Alias o primeiro vídeo da play list de web scraping fala exatamente sobre isso
@fillipeoliveira4927
@fillipeoliveira4927 2 жыл бұрын
Parabéns pelo vídeo, Fabricio você tem decorado em mente cada função dessas biblioteca ? Eu sinceramente não consigo codificar sozinho sem ver algum video, tu tem alguma dica para melhorar isso ?
@Codifike
@Codifike 2 жыл бұрын
Oi Filipe, tenho uma ideia pois ja usei, mas eu codifico com a documentação de um lado e o stackoverflow do outro 😉
@fallthred
@fallthred Жыл бұрын
como eu faço esse calculo quando a pagina nao tem o valor de paginas a amostra, só tem la em baixo um mostrar mais que quando clica carrega mais itens sem atualizar a pagina. Eu consigo a quantidade de pagina vendo pelas propriedades onde fica o mostrar mais, como faço pra colocar esse valor que esta na tag mostrar mais pra deixar automatizada a contagem de paginas? min 11:10
@Codifike
@Codifike Жыл бұрын
Neste caso , acredito q a informação já esteja pronta em um arquivo separado. Para saber como fazer assista esse meu vídeo kzbin.info/www/bejne/o6qreYV3jd2bo80
@pedrocorreia5713
@pedrocorreia5713 2 жыл бұрын
Estou fazendo o mesmo código em outro site. No looping, a url está retornando as demais páginas, mas o conteúdo nome, preço e etc está sendo da primeira pagina apenas.
@_pedrocsta
@_pedrocsta 8 ай бұрын
A página que estou extraindo carrega os itens conforme vai rolando a página, qual seria a solução?
@Codifike
@Codifike 8 ай бұрын
Tem um vídeo na playlist de web scraping que fala exatamente disto. Dá uma olhada lá 👍
@midoriyarc5731
@midoriyarc5731 7 ай бұрын
to com problemas com a mesma coisa que você, estou tentando coletar dados da olx
@ewertonbrw
@ewertonbrw Жыл бұрын
linda didática!
@Codifike
@Codifike Жыл бұрын
Obrigado
@marcobigode
@marcobigode 9 ай бұрын
e como faz uma busca no site todo não só na parte de cadeiras
@dnz8792
@dnz8792 2 жыл бұрын
Vídeo top, obrigado! Estou começando hoje a pesquisar sobre web scraping porque quero fazer uma aplicação. Me deparei com uma dúvida que no vídeo é resolvido alterando o valor da página na URL. No meu caso eu estou tentando percorrer a lista e acessar a página com informações do produto, nesse caso eu teria que clicar em cada elemento para criar uma lista das URLs de cada produto? Eu também preciso "ficar de olho" em cada página desses produtos, porque as informações deles são atualizadas de segundos em segundos, alguma ideia de como fazer isso? Estou pesquisando algum caso parecido (acredito que eu encontre em algum vídeo de bolsa de valores, etc), mas se tiver alguma técnica que já saiba que possa compartilhar para eu pesquisar já me ajuda muito! (Obs.: caso minha dúvida seja idiota é porque eu não tenho experiência com desenvolvimento web, muito menos python kkk aprendendo tudo junto)
@Fabiopereira_cps
@Fabiopereira_cps 7 ай бұрын
muito bom. adorei
@paulolocatelli8131
@paulolocatelli8131 2 жыл бұрын
Bem legal, obrigado!
@Codifike
@Codifike 2 жыл бұрын
Obrigado
@beuge91
@beuge91 Жыл бұрын
Muito bom. :D
@eduardo7184
@eduardo7184 Жыл бұрын
Como referenciar uma url para um site que é preciso logar? Ao tentar coletar os dados de uma classe, da tela inicial de login e não da tela atual
@samuelsoares8239
@samuelsoares8239 9 ай бұрын
O que fazer quando o sit tem ?
@gustavosccp2487
@gustavosccp2487 25 күн бұрын
Salve, como faz pra passar pro excel, é na prática mesmo ou é no pycharm
@misael_guedes
@misael_guedes 2 жыл бұрын
Eu quero fazer um projeto onde cada anuncio representa uma venda, existe uma forma onde consigo automatizar a informação de venda?
@PabloFreestylebr
@PabloFreestylebr 2 жыл бұрын
sempre da esse erro "ImportError: cannot import name 'BeautifulSoup' from 'bs4'" ja tentei de tudo até alterar pra BeautifulSoup4 ele fala que o erro esta em: from bs4 import BeautifulSoup
@victoriagomes6153
@victoriagomes6153 2 жыл бұрын
Oláa, preciso muuuito de ajuda! Tenho que fazer o levantamento das lojas da drogaria raia mas quando coloco qtd_itens = soup.find('p', class = "count-containe inlin").get_text().strip() aparece : AttributeError Traceback (most recent call last) in () 1 #'pager inline' ----> 2 qtd_itens = soup.find('p', {"class": "count-containe inline"}).get_text().strip() AttributeError: 'NoneType' object has no attribute 'get_text'
@Codifike
@Codifike 2 жыл бұрын
Isso acontece quando ele não encontra o nome da classe que está procurando e por isso ele não consegue extrair o texto de um valor vazio no caso o NoneType.
@jacquesddoug9880
@jacquesddoug9880 2 жыл бұрын
achei uma outra solução tenta ai: tag = soup.find('p', class = "count-containe inlin") qtd_itens = tag.text
@matancadeporco
@matancadeporco 2 жыл бұрын
@@jacquesddoug9880 não consigo desta maneira
@LilMarqueZ997
@LilMarqueZ997 2 жыл бұрын
Top mano
@Codifike
@Codifike 2 жыл бұрын
Obrigado Michel
@fabio-w8n
@fabio-w8n 8 ай бұрын
a cola estar do lado kkk mas ficou bem
@darcioalberico
@darcioalberico Жыл бұрын
Muito top!!
@wilsonmarques1694
@wilsonmarques1694 2 жыл бұрын
o site de buscas google utiliza desta ferramenta ?
@mathewhanna6186
@mathewhanna6186 Жыл бұрын
estou com meu codigo todo certo porém eu fiz em uma pagina que não precisava mudar de página, fiz tudo certo, mas não volta nenhum resultado para mim, alguém pd me me ajudar?
@jv2556
@jv2556 2 жыл бұрын
Seguindo esse modelo, como eu faria pra conseguir fazer essa análise e por exemplo ele conseguir pegar o link apenas de produtos que tenham o texto cashback e o valor?
@Codifike
@Codifike 2 жыл бұрын
Vc teria que verificar a tag onde esta o texto cashback, e trazer isso em uma variável e se está variável estiver vazia pular para o outro produto, se estiver preenchida popular com os dados do produto.
@julianomateus2935
@julianomateus2935 2 ай бұрын
consegue fazer um código em python para extrair os numeros de qquer uma das loterias do site da CAIXA?
@jamn52
@jamn52 2 жыл бұрын
Cara, gostei ...
@Codifike
@Codifike 2 жыл бұрын
Que bom
@Gi851
@Gi851 2 жыл бұрын
O web scraping possibilita baixar arquivo vetorial como mapas, lotes de quadras etc de um site de intranet?
@jeffersonmoreira1817
@jeffersonmoreira1817 2 жыл бұрын
Muito bom. Como eu consigo buscar uma informação que fica atualizando a cada segundo? Ex: Quero buscar os preços das ações do ibovespa e passar para o excel, mas em tempo real para colocar essas informações num dashboard. Consegue me dar uma ajuda?
@Codifike
@Codifike 2 жыл бұрын
Pode fazer isso diretamente usando a Api do yfinance, neste caso não precisa de webscrapping. Da uma olhada nos vídeos sobre mercado financeiro
@GregoryGustavo
@GregoryGustavo 2 жыл бұрын
Pra achar a quantidade era melhor Split(' ')[0]
@lucascesar7795
@lucascesar7795 2 жыл бұрын
Aula excelente irmão! Eu tenho uma dúvida.. eu conseguiria fazer esse mesmo procedimento no mercado livre ? Mas aí os dados que eu gostaria de extrair seria de um produto específico, e iriam além do título e do preço. Eu gostaria de extrair título, preço, a quantidade de vendas que o anuncio tem, o estoque de cada vendedor, a reputação de cada vendedor, o nome do vendedor e o tipo de anúncio (se ele é clássico, Premium, clássico com frete grátis, Premium com frete grátis...). Para esses dados além do título e do preço, acredito eu que o Pyton além de analisar a capa de cada anúncio, ele teria que entar em anúncio por anúncio, e verificar essas condições.
@Codifike
@Codifike 2 жыл бұрын
Consegue , e só ir buscando as informações que vc quiser
@emerson51802
@emerson51802 2 жыл бұрын
Em alguns sites que executa alguns elementos em tempo de execução com o ajax, essa forma não vai funcionar muito bem, poderia fazer um vídeo explicando sobre essas paginas que executam uma parte do html em ajax , eu contornei esse problema com o selenium para abrir o site antes de fazer o request, mas ficou um pouco lento o programa, teria outra solução?
@Codifike
@Codifike 2 жыл бұрын
Vou tentar ver se vejo alguma solução para isso
@emerson51802
@emerson51802 2 жыл бұрын
@@Codifike show, já aproveito para agradecer, pois aprendi muitas coisas em python assistindo seus video
@neto_x
@neto_x 2 жыл бұрын
Tenta obter os dados via endpoint, da uma olhada na aba network do devtools
@gastrofy_
@gastrofy_ Жыл бұрын
Super Obrigado!!!!!!!!!!!
@Codifike
@Codifike Жыл бұрын
Disponha!
@drogariaspaisfilhos4669
@drogariaspaisfilhos4669 2 жыл бұрын
incredible possibilities to those who master it. I am almost done with my first track, but there is so much more to discover and learn. TNice tutorials
@brutforce-o8v
@brutforce-o8v Жыл бұрын
Olá tive o mesmo problema fiz a video aula na hora de rodar apareceu esse erro : preco = produto.find('span', class_=re.compile('priceCard')).get_text().strip() ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: 'NoneType' object has no attribute 'get_text' procurei Stack OverFlow nada, traz os nomes do produto cadeira mas os preços gera erro, mesmo assim agradeço excelente didática parabéns !!!!!
@Codifike
@Codifike Жыл бұрын
Dá uma olhada no nome da pagina pois acho que mudou
@silaspaesnomarketing
@silaspaesnomarketing 2 жыл бұрын
Parabens pelo vídeo.... uma dúvida,.. eu conseguiria fazer a parte do web scraping com o selenium apenas? vi outros vídeos uma junção do BS com selenium, e não consigo entender pq usam os dois. se puder me esclarecer, agradeço desde já
@Codifike
@Codifike 2 жыл бұрын
Ate pode fazer com o selenium. Mas o bs tem alguns métodos que são maia fáceis de usar
@gfsouza86
@gfsouza86 2 ай бұрын
duas perguntas: - sem baixar o chomedriver eu não consigo realizar o login em sites? - e se a resolução do usuário for diferente?
@Codifike
@Codifike 2 ай бұрын
o chromedrive é usado pelo selenium para simular o navegador. Quanto a resolução, não entendi a pergunta.
@alexandreferreira4126
@alexandreferreira4126 Жыл бұрын
Opa Fabrício e amigos, seria possível pegar fotos + descrição + comentário, com todos esses arquivos já ensinados no vídeo?
@Codifike
@Codifike Жыл бұрын
Sim, vice precisa descobrir as tags onde estão o q vc quer buscar e se tem um padrão q possa ser usado aa expressão regular e seguir o q fizemos no video
@alexandreferreira4126
@alexandreferreira4126 Жыл бұрын
@@Codifike top, muito obrigado pelo retorno de verdade
@simon_riley_uk
@simon_riley_uk 2 жыл бұрын
E os sites que possuem a segurança do cloudfare?
@Codifike
@Codifike 2 жыл бұрын
Esse é complexo, já esbarrei neste problema e ainda não encontrei uma solução.😔
@simon_riley_uk
@simon_riley_uk 2 жыл бұрын
@@Codifike Tome um café ☕
@AmandaGomes-eg3op
@AmandaGomes-eg3op Жыл бұрын
eu no caso estou precisando raspar o numero atual da roleta simultaneamente assim que muda em cada rodada. este código que vc fez da pra fazer esta raspagem em tempo real e enviar pro meu BOT ?
@bruhlickd
@bruhlickd Жыл бұрын
Como fazer isso agora no Airbnb? Está dando tudo errado para mim. O tempo todo aparece esse erro: "AttributeError: ResultSet object has no attribute 'find'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?" Além do mais não consigo usar ".get_text()" com ".find_all". Aparece o erro: "AttributeError: 'NoneType' object has no attribute 'get_text'" O que estou fazendo de errado?
@Codifike
@Codifike Жыл бұрын
O erro esta dizendo que o objeto que vc criou é uma lista pois o find_all pega todo os elementos, por isso vc não vai conseguir extraior o texto usando get_text de uma lsita. precisa passar a lista pelo for paraa ter apenas 1 item e assim conseguir usar o get text
@bruhlickd
@bruhlickd Жыл бұрын
@@Codifike Obrigado. Outra coisa, no link url da página do airbnb não tem espaço para iterar a página (ao menos não sei localizá-lo). COmo faço? Este é o link: url_pag = f'www.airbnb.com.br/s/Italia/homes?tab_id=home_tab&refinement_paths%5B%5D=%2Fhomes&flexible_trip_lengths%5B%5D=one_week&price_filter_input_type=0&price_filter_num_nights=31&query=Italia&place_id=ChIJA9KNRIL-1BIRb15jJFz1LOI&date_picker_type=calendar&checkin=2023-03-09&checkout=2023-04-09&adults=1&source=structured_search_input_header&search_type=autocomplete_click&federated_search_session_id=96f3bbad-217c-47f6-8a94-a314fb66400b&pagination_search=true&cursor=eyJzZWN0aW9uX29mZnNldCI6MSwiaXRlbXNfb2Zmc2V0IjoyMCwidmVyc2lvbiI6MX0%3D'
@GiovanniJardel
@GiovanniJardel Жыл бұрын
cara o video em si muito bom mas voce faz uma explicação muito rapida onde algumas partes sempre tenho que voltar no video para poder acompanhar
@thiagotorres4151
@thiagotorres4151 2 жыл бұрын
opa eai, to querendo fazer isso usando a biblioteca do playwright, é o mesmo processo de requests? ou muda alguma coisa, se puder responder agradeço ❤️
@thiagotorres4151
@thiagotorres4151 2 жыл бұрын
por exemplo, faço login no site, ai na entrada dele tem assim "permitir notificações", porém o codigo xpath dela muda toda hora, por exemplo: ('xpath=//*[@id="mount_0_0_jH"]/div/div[1]/div/div[2]/div/div/div[1]/div/div[2]/div/div/div/div/div/div/div/div[3]/button[2]').click() ('xpath=//*[@id="mount_0_0_Bi"]/div/div[1]/div/div[2]/div/div/div[1]/div/div[2]/div/div/div/div/div/div/div/div[3]/button[2]')
@thiagotorres4151
@thiagotorres4151 2 жыл бұрын
ele muda só uma parte, mas não consigo fazer o mesmo jeito q vc fez ali, será q tem outro jeito de conseguir?
@Codifike
@Codifike 2 жыл бұрын
Não conheço essa lib
@mrcenobittas
@mrcenobittas 2 жыл бұрын
Como faço pra ocultar o print no terminal e gerar apenas o arquivo csv com os dados retornados?
@Codifike
@Codifike 2 жыл бұрын
tira o print que esta linha 37 do progranma
@computado
@computado 2 жыл бұрын
Alguma aula de como acessar dropmenus com Selenium?
@Codifike
@Codifike 2 жыл бұрын
Ainda não
@grlking333
@grlking333 2 ай бұрын
ola boa tarde tou querendo fazer um script/bot voce pode me ajudar nisso ?
@xln8014
@xln8014 Жыл бұрын
Preciso que em vez de puxar os dados ele clique sobre, mas não consigo de jeito algum
@Codifike
@Codifike Жыл бұрын
Procure na nossa playlist de webscraping esse video que fala exatamente sobre isso: kzbin.info/www/bejne/jHyue4xmq61ka6M
Como automatizar tarefas com python - Agendar webscrapping
25:58
Como fazer webscraping com python em múltiplas páginas
17:18
Арыстанның айқасы, Тәуіржанның шайқасы!
25:51
QosLike / ҚосЛайк / Косылайық
Рет қаралды 651 М.
RASPAGEM de DADOS com PYTHON usando BeautifulSoup | Python na Prática #9
14:55
Programação Dinâmica
Рет қаралды 63 М.
Aprenda a fazer Web Scraping em sites com Automa
32:54
dcode
Рет қаралды 15 М.
É o fim do Power BI? Criando Dashboard com Python em 15 minutos
17:46
Asimov Academy
Рет қаралды 356 М.
Como fazer Web Scraping utilizando Python e Selenium?
23:51
Comunidade DS
Рет қаралды 33 М.
Automação Selenium Python + Excel + E-mail | Avaliei 2 Projetos REAIS
22:55
Dev Aprender | Jhonatan de Souza
Рет қаралды 96 М.
Арыстанның айқасы, Тәуіржанның шайқасы!
25:51
QosLike / ҚосЛайк / Косылайық
Рет қаралды 651 М.