#07 - Integrando o Selenium com o BeautifulSoup: Parte I | Web Scraping com Python

Fala, pessoal! Nesse vídeo vamos trabalhar mais com o Selenium, entendendo melhor a importância dessa biblioteca e, além disso, a forma que podemos utilizar para integrá-la com o BeautifulSoup, uma biblioteca que já vimos anteriormente nessa série sobre Web Scraping com Python.
Para isso, aplicaremos as bibliotecas do Selenium e BeautifulSoup no site do Airbnb para criar uma rotina automatizada de busca por hospedagens.
LINKS
→ Repositório do GitHub: github.com/wal...
→ Playlist Completa dessa Série: • #01 - Introdução ao HT...
→ Instagram: / walissonsilvablog
→ Canal do Telegram: t.me/walisson_...

[@JoaoSantos-jb7ul]

Wallison, estou em 12 de outubro de 2024. Gostei bastante das dicas para entender "quando o Beautiful Soup + Requests funciona e quando não; assim precisando usar Beautiful Soup + Selenium". O Selenium, depois que você fez este vídeo (estou comentando 3 anos depois que você o gravou) teve algumas mudanças - inclusive a gente consegue fazer com que ele importe o webdriver atualizado. Fiz algumas adaptações juntando as tuas dicas com outras recentes da Hashtag treinamentos, e consegui que funcionasse a abertura de um site! Se você vir esta mensagem que escrevi e puder atualizar os vídeos, será fantástico para o pessoal que acompanha/acompanhou!

[@romariopaixao4063]

É uma pena que ele tenha parado com essa playlist. Foi a que mais aprendi sobre o assunto. Volta Walisson, vc é fera !!!

[@LucianodoValleBarbosa]

Verdade. Tô aprendendo agora, a biblioteca tá um pouco diferente, mas a lógica com que ele ensina é perfeita. Melhor que muuuuito curso pago.

[@douglasneres]

up

[@ars351]

parabéns. essa sua playlist está mais informativa que a "Web Scraping with Python" do Datacamp.

[@ronysimao701]

Hoje, graças a vc @Walisson consegui terminar uma atividade que estava no meu colo há quase 20 dias, e que fiquei 12horas trabalhando, um pontinho específico do seu vídeo, quando vc deu a ideia de printar o código que estava voltando, antes de continuar No meu caso o site (de finanças) estava identificando que era um script e para isso precisei incluir um "user_agent" mas isso só deu pra ver pq peguei sua dica dada com muito profissionalismo e leveza Como disse o comentário abaixo é uma pena que tenha parado esta série..... a não ser que este comentário te faça continuar....rs Abraço e obrigad

[@douglasneres]

vc pode incluse rotacionar seu UserAgente com a biblioteca: from fake_useragent import UserAgent

[@douglasneres]

Top demais! Continua a Playlist man!!!

[@gabrielwon-held2769]

excelente conteudo !

[@DevOpsBR]

Parabéns amigo, poderia voltar com mais vídeos nessa playlist, foi bem instrutivo e a sua didática é muito boa. Parabéns!

[@bruno-dev]

Conteúdo mto bem explicado... Plz não demore 2 meses pra postar os próximos vídeos, aprendi bastante com vc

[@WalissonSilva]

Valeu, Bruno!! Mais tarde já vai sair o oitavo vídeo dessa série!

[@guisato1]

Parabéns pelo conteúdo com excelente didática! Um vídeo sobre o css selector seria bem legal (talvez até uma série HTML básico para Web Scraping). Obrigado por compartilhar!

[@WalissonSilva]

Muito obrigado pelo feedback, Guilherme! Inclusive, agradeço demais pela sugestão!!

[@diogo_ferrarezi]

Cara vc eh muito bom

[@LucasAraujo-oo5en]

Simplesmente sensacional !!

[@dimasrafting]

Muito boa a didática, grato por compartilhar o conhecimento

[@JoaoVitorBrabo-p5q]

Irado o material! Parabéns

[@c-controlltec2628]

Você explica muito bem, já vi outros vídeos de web Scraping e dificilmente as pessoas explicam oque é cada função do código. Meus parabéns!!!

[@robinsonrenato]

Cara, assisti todos os vídeos. Sensacional!!!!

[@WalissonSilva]

Poxa, muito obrigado pelo feedback, Robinson!! É um grande prazer poder compartilhar esse conhecimento por aqui! Hoje já vamos ter outro vídeo dessa série por aqui!

[@julianooliveira3835]

Maravilha de vídeo!

[@fgoulart11]

Parabéns! Excelente material e didática perfeita. Obrigado por compartilhar o teu conhecimento.

[@eltonguilherme7048]

Tô assistindo tudo!!! Sou iniciante e tenho aprendido bastante com seus vídeos!!! Muito obrigado e parabéns!!

[@WalissonSilva]

Eu que agradeço pelo apoio e feedback, Guilherme! Sucesso!!

[@fernandofares2966]

o caba é bom mesmo

[@amauryribeiro1860]

essa manjada com o sleep foi genial cara ...

[@MichelLedig]

Uma dica é dar um zoom com uso de edição no seu código enquanto fala. Até mesmo assistindo pelo computador pode ficar dificil a leitura algumas vezes, o canal Felipe Deschamps faz isso frequentemente dps da uma olhada. Execelente video me ajudou demais na minha tarefa de webscraping, queria ter um senior assim kkkkkkk

[@felipevr4348]

Irmão, que top as explicações, mais um inscrito

[@djcarreybsb]

Parabéns. Ótima didatica

[@wagnerbonelli2621]

Um ano depois aprendendo muito! Obrigado!

[@pastorjose9416]

Suas aulas são sensacionais. O jeito como você ensina logo de percebe que você ama o que faz, o que me inspira a querer aprender mais e mais.

[@henriquealves9879]

show!! melhor vídeo de selenium que vi até agora.

[@WalissonSilva]

Woow! Obrigado pelo comentário, Henrique! Fico muito feliz em saber disso! Mais tarde vai sair o oitavo vídeo dessa série!

[@andreray1795]

muito bom o conteúdo, to gostando muito

[@Jonny10Bravo]

Parece que vc estava adivinhando qual era minha dúvida kkkk... Excelente vídeo Walisson !

[@alexandrecabo]

Irmão, vc é o cara, vou testar o seu método, dicas incríveis e didática sensacional.

[@samiosantos8737]

Excelente vídeo, agregou muito! 🚀🔥

[@renansilva1362]

incrível mano, incrível!!

[@WalissonSilva]

Valeu, Renan!! 😄

[@eduardogameiro4515]

Amigo parabéns pelos seus vídeos, sua didática é excelente....

Está show demais seus tutoriais. Obrigado. Me ajudou demais aqui.

[@omluiz90]

Parabéns pelo conteúdo e pela didática. Exatamente o que eu estava procurando!!

[@wendelsilva6871]

Conteúdo excelente👏👏👏

[@lucascandido6158]

Ficou ótimo o vídeo e a explicação, parabéns!!!

[@franapmachado]

Ensina como poucos! Valeu mais uma vez!

[@carloshenriquesoares6958]

Sensacional! Sua didática e muito boa. Parabéns e obrigado!

[@WalissonSilva]

Eu que agradeço pelo feedback, Carlos! Fico feliz em contribuir com a sua evolução. Sucesso!

[@arthurarashbricenoheidari2858]

nossa adorei as aulas quero part 10000 kkkkk 🙏 por favor

[@VeniltonSiqueira]

Excelente explicação, você é demais! Obrigado por compartilhar seu conhecimento, tô aprendendo muita coisa. Parabéns.

[@WalissonSilva]

Poxa, que legal, Venilton! Fico muito feliz em poder contribuir, cara! Obrigado pelo feedback!!

[@rodrigojove7668]

excelente!!! estava buscando exatamente isso. incrível sua didática, virei fã

[@leticiasampaio8221]

Material muito bom! Obrigada :D

[@viniciuss.oliveira9504]

Seu conteúdo esta sensacional de bom Walison! Parabéns e sucesso

[@WalissonSilva]

Obrigado, Vinícius!!

[@LuizPerciliano_78]

Ótimo vídeo amigo

[@WalissonSilva]

Obrigado, Luiz!!

[@leandroverdan6055]

Parabéns pelo conteúdo! Ganhou um inscrito pela excelente playlist.

[@danielalvesitame1881]

Show de bola o conteúdo cara!! Eu estou tendo um problema desde que atualizou pro chrome 103. Quando uso o selenium, o chrome fecha automaticamente após rodar o script. Ele faz tudo que tem que ser feito, mas ele fecha automaticamente. Como se tivesse um "close default". Alguém mais ta com isso??

[@jeanpauljoseph1523]

Muito boas as aulas, só estou tendo um problema - o by no find não está sendo identificado. NameError: name 'By' is not defined

[@franciscorodriguesfrancisc6920]

Boa noite! Walisson, quando se gera um executável de programa criado no Python utilizando o Selenium, para que ele funcione corretamente em outra máquina é necessário ter o Selenium instalado ou não? Tive essa percepção quando testei um executável em uma máquina que não tinha nem o Python nem o Selenium instalado. Ele não funcionou.

[@amauryribeiro1860]

mt obrigado

[@AaaaAaaa-kw8wp]

Você tem uma didática bárbara, seu canal precisa ter e terá mais inscritos! Só fiquei com uma dúvida: saberia me dizer se o Selenium pode "esperar" que um certo elemento apareça antes de realizar uma ação, igual ao Puppeteer do Nodejs? Abraços

[@paulohenrick8667]

Ótimo vídeo mestre! Poderia fazer um vídeo sobre selenium no jupyter?

[@odivergente388]

👍👍👍

[@jlamanutencao]

Mto bom! Vc tem uma didática mto boa! Estou tentando fazer um scraping no site da bet365 para exibir os jogos de futebol que estão acontecendo ao vivo, mas não estou conseguindo, teria como vc fazer um exemplo disso pra me dar uma direção? Parabéns pelo material

[@adolfomatias7357]

Cara acabei de fazer isso, se quiser te ajudo só me chamar aqui que a gente entra em contato. Nome dos times e Gols pra cada time, dá um trabalhozinho, mas conversando te explico.

[@edsonaguiar59]

@@adolfomatias7357 amigo, me explica aí como você fez? Manda teu contato, por favor.

[@adolfomatias7357]

@@edsonaguiar59 vou mandar meu LinkedIn daí tu entra e fala cmg eh melhor pode ser?

[@edsonaguiar59]

@@adolfomatias7357 pode sim, manda por favor.

[@andresilveira3605]

O comando usado para definir o tamanho da janela do navegador não funcionou no Firefox. Neste navegador eu tenho que usar um comando diferente? Obrigado pelas aulas, estou gostando muito.

[@dedeh-lives]

Eu nao consigo rodar em um servidor vps, unbuntu 20.04 da digital ocean. da mt erro no webdriver sabe me dizer como resolver?

[@alvarohenrique1094]

Se a conexão da Internet ficar lenta de repente, o sleep não vai resolver, vai dar erro por não encontrar o componente... Por isso sugiro buscar o componente pela id, usar um laço com try except pass, colocando o break após a linha que chama a função click do elemento... Seria interessante também criar uma função que cria esse laço passando como primeiro parâmetro a id/classe/tag do componente e como segundo parâmetro, qual tipo de busca (id/classe/tag).. Assim vc iria garantir que independente de instabilidades na conexão, em algum momento o elemento será clicado

[@pauloaugusto6235]

Quando tento usar a função submit() dá esse erro aqui : selenium.common.exceptions.NoSuchElementException O que faço?

[@blacksoundmusicexperience]

top , aprendi bastante , no caso se eu quisesse pegar links que estão em páginas diferentes, qual seria a melhor solução? exemplo: eu tenho uma relação de concursos que consigo pegar as descrições de todos eles, mas pra eu acessar o edital eu tenho que clicar em cada um separado pra acessar a página do link e não consigo capturar todos os links pois cada link do edital tem sua respectiva página

[@luizsilva825]

Boa Tarde ! Como fazer para pegar informações do google maps ? clicando no resultado de uma pesquisa uma nova pagina abre com o endereço e outras informações...como posso recuperar o endereço ?

[@josuejunio3354]

Muito bom, cara! Parabéns. Uma dúvida: Quando a gente manda esse BeautifulSoup(navegador.page_source, '...') aparecem diversas features, como 'html5lib'. Faz diferença usarmos as outras? Em qual situação isso é uma boa ideia se faz diferença?

[@andreray1795]

walisson, na hora do send_keys meu código deu esse erro: ElementNotInteractableException Traceback (most recent call last) in 15 16 lugar = navegador.find_element_by_tag_name('input') ---> 17 lugar.send_keys("São Paulo") 18 lugar.submit() 19

[@Pablo1000k]

Lança a parte 2, 3 ,4... top

[@WalissonSilva]

Boa! hahaha. Obrigado pelo apoio!!

[@phernandp]

Como faço para que o selenium pesquise uma lista de nomes? Exemplo: 1a pesquisa São Paulo, 2a pesquisa Rio de Janeiro, 3a pesquisa Mato Grosso e assim vai. Tem como?

[@NayT0N]

Excelente vídeo. Uma dúvida. Sobre o sleep (4). Ao invés de informar o tempo existe alguma forma de configurar um "auto" para que a lib aguarde toda pág. carregar para depois executar alguma coisa. Daí, não precisamos ficar estimando um tempo. Existe ?

[@peterslopes]

Verifique wait implícito. Neste caso poderia ser conforme abaixo onde o Selenium aguarda o carregamento da página por no máximo 30 segundos. No entanto, se ela carregar antes deste tempo ela continua a execução do código restante imediatamente. navegador.implicitly_wait(30)

[@joaovictor-dl6ve]

Tenho uma dúvida, não teria como pegar todos esses botões e colocar em um "for"? Pois se a pagina tiver 20 botões eu teria q ficar repetindo os 20....

[@mateusafonso5816]

Walisson, é comum nesses sites que utilizam renderização do lado do cliente possuir informações diferentes dentro de classes com o mesmo nome?

[@viajante4386]

Nao seria melhor usar a função find...xpath e clicar? Ele iria achar exatamente a xpath que deseja. Ou não?

[@renanalcolea]

Walisson Cara, me ajuda a entender um erro pf ta me deixando maluco. kkkkkkkkkkkkkkkkk Minha pagina web fecha sozinha só pelo fato de estar importando a biblioteca Requests, voce ja viu isso acontecer ? Sabe oq pode ser ? se eu comento a linha #import requests volta funcionar normal :'(

[@luizfelipefelipe5007]

alguém ai tentando fazer e esta tendo problema?

[@emellysilva2497]

uma duvida pq nesse código eu não consigo pegar detalhes.text? cursos = BeautifulSoup(navegador.page_source, 'html.parser') print(cursos.prettify()) detalhes = cursos.findAll('div', attrs={'class': 'obs_list OSAutoMarginTop'}) print('Detalhes do curso: ', detalhes) quando coloco o .text depois de detalhes da erro

[@emellysilva2497]

quando coloco dentro de um for ele só me retorna uma informação

[@emellysilva2497]

AttributeError: ResultSet object has no attribute 'text'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

[@laudemirferreira3227]

@@emellysilva2497 R: Você provavelmente está tratando uma lista de elementos como um único elemento. Você chamou find_all() quando devia chamar find()? Para recuperar o texto de todos os elementos, você precisa iterar sobre a lista e chamar o método .text para cada elemento. Assim: detalhes = cursos.findAll('div', attrs={'class': 'obs_list OSAutoMarginTop'}) for detalhe in detalhes: print('Detalhe do curso: ', detalhe.text)

[@Leozinho222333]

ao executar os mesmos comandos, o script roda normal, porém, minha pagina do airbnb fecha automaticamente.....é algum procedimento que o site introduziu para não ser mapeado ?

[@adolfomatias7357]

Não é muita vantagem deixar o navegador aberto pois sempre que você executar ele abrirá uma outra instância do browser. O Selenium não tem feature de usar sempre a mesma instância do browser e por isto ele sempre fecha depois que o teste termina. Para deixar o browser aberto é só colocando um tipo de sleep.

[@misrael1312]

o meu deu erro na parte de por o texto no "input", alem de que a pagina abre e logo em seguida fecha

[@kevenfeittosa1243]

Como posso fazer para pegar uma " div" que tem um texto?

[@mrnathancmr]

Alguém pode me ajudar? A minha ideia é criar um input e a partir do input o selenium fazer a pesquisa no input do site como isso ficaria nesse mesmo código?

[@bojackhorseman2755]

Parabéns pelo canal. Conheci ontem e estou maratonando, queria dizer que meu sublime não está compilando meus códigos python. Apenas aparece Finished no final. Estou com python 3 instalado no meu windows, já fiz o script do python3 e também já instalei o sublime Perl. Porém o mesmo não roda os códigos em python quando acrescento cores. Se puder me ajudar agradeço.

[@WalissonSilva]

Obrigado pelo feedback, Fable! Cara, realmente o Sublime Text tem dado uns problema, principalmente no Windows. A configuração dele acaba sendo bem complicada para executar códigos em Python de uma forma simples. Por esse motivo, inclusive, eu migrei recentemente para o Visual Studio Code. Se você tiver interesse em utilizar esse outro editor de código, eu tenho até um vídeo aqui no canal falando como você pode configurar ele para rodar scripts em Python de uma forma bem simples. É um vídeo bem completo! Mas, se você quiser mesmo utilizar o Sublime, eu poderia te ajudar melhor com mais detalhes dos erros que você está obtendo. Se quiser, me manda um e-mail ([e-mail]) ou manda uma mensagem no Instagram (@walissonsilvablog) que a gente pode ver como poderíamos resolver, beleza?

[@kaiojv]

O seu abre e não fecha como faz isso ?

[@diegooliveira7940]

FAZ UMA PARTE 3,4,5.......

[@douglasdearaujosilvaribas5397]

No caso de um Feed infinito? Existe um scroll até acabar?

[@victorialuisateixeiralemos3938]

queria muito saber isso também! Queria pegar as noticias do g1 pra montar uma base de dados pra treinar uma IA. O site do G1 tem um botão "ver mais" mas quando vc rola a tela e automaticamente já vai "sendo clicado" e carrega mais noticias. Voce descobriu como fazer isso?

[@yanbelchior4236]

Por que o meu browser fecha sozinho apos rodar o teste?

[@dflorenciojr2]

@Wallisson, o meu também fecha. Não sei o motivo. Quem puder explicar agradeço.

[@clebersonosorio1398]

Options.add_experimental_option('detach', True)

[@kyncaid8593]

Como fazer pra pegar o HTML dentro de um

[@catapeba]

acho q o site e o selenium mudaram um pouco, nao consigo extrair o html com esses comandos mais

[@magodev939]

O headless no meu não funciona

[@hentite]

O meu navegador Chrome ele abre e fecha, ai tenho que ficar colocando sleep pra não fechar.

[@catapeba]

.add_experimental_option('detach', TRUE)

[@clebersonosorio1398]

Options.add_experimental_option('detach', True)

[@adrianoalecrim]

send_keys nao ativa.

[@gabrieldomingues9202]

Quem ta dando ctrl+C e ctrl+V nos codigos e não ta funcionando. Lembrem-se que esse vídeo tem mais de 1 ano, da uma olhada na documentação pra ver quais comandos mudaram com o tempo.

[@RafaelWallace-s8f]

Assisti mais de 80 videos sobre o mesmo assunto, os caras sao feras porem nao sabem ensinar, ja o Walisson usa uma tecnica de abordagem muito simples e interativa o usuario consegue entender perfeitamente a logica do codigo mesmo nao entendendo nada de programação. Volta com as aulas irmao.

[@bruhlickd]

Olá. O código "input_place.send_keys('Italia')" me retorna o erro: ElementNotInteractableException: Message: element not interactable (Session info: chrome=109.0.5414.75). O que há de errado?

[@laudemirferreira3227]

O erro ElementNotInteractableException significa que o elemento não está interagível. Isso significa que seu elemento não pode interagir com o usuário, seja porque não está visível ou porque não está ativo. Para resolver esse problema, verifique se o elemento está visível e ativo. Se estiver, tente usar o método de espera explícito para aguardar que o elemento esteja disponível antes de interagir com ele. Você também pode tentar usar o método de espera implícito para aguardar que o elemento esteja disponível antes de interagir com ele. isso significa que seu sleep talvez esteja curto para encontrar o input

[@BurnoGustavo]

Boa noite meu caro, Walisson! Tudo bem ? Estou com alguns problemas na hora de executar o meu script. As vezes ele funciona corretamente, vezes não. Poderia me ajudar ? Meu script tá igual ao seu! Meu Erro: [12936:1632:0726/234146.644:ERROR:device_event_log_impl.cc(214)] [23:41:46.644] Bluetooth: bluetooth_adapter_winrt.cc:1073 Getting Default Adapter failed.

[@brutalforce3248]

Aqui não rolou... antes de eu acessar aonde preciso extrair os dados preciso clicar em um HREF que não consigo fazer via selenium Select your login method Employees Customers

[@dflorenciojr2]

O meu navegador fecha após o teste. Alguém sabe o motivo?

[@clebersonosorio1398]

Options.add_experimental_option('detach', True)