Web Scraping com Excel VBA - Extraindo Dados de Sites com Varias Paginas

[@josecasimiropinheiro4104]

A pedagogia do Marcelo está muito acima do que se encontra no mercado. E este é mais um exemplo. Quem quiser aprender realmente com metodologia veja o curso dele.

[@cristianluisteixeirafrc8435]

agora eu entendo o porque é necessário paralisar o desenvolvimento de uma linguagem, se o VBA continuasse a evoluir diariamente seria um pareo duro de mais para o surgimento de novas linguagens e todo o comércio que esse surgimento propicia. VBA ainda é muito contemporâneo e mágico na mão do Alquimista da programação o Mestre Nascimento. Parabéns!!!

[@DevNascimento]

Tem muita coisa boa!

[@niltondasilva5174]

Eu ainda não conhecia esta forma de fazer webscraping. Interessante a abordagem. Fiz o teste e achei estranho que alguns dos itens não são extraídos. Continuo estudando para ver se descubro o motivo de pular alguns itens.

[@samuel.oliveiraBRA]

Marcelo, Dentro de todos os devs em VBA, você é o melhor e sua didática e talento são incríveis. Meus parabéns!

[@DevNascimento]

Valeu Samuel 🤝

[@hardwarelouco]

Cara.. essa dica foi matadora.. amanhã mesmo vou tentar aplicar no meu trabalho pq preciso pegar os preços de uns produtos no mercado livre. Pensei que ia ter que fazer isso com Python, mas a sua dica chegou em ótima hora. Super obrigado por compartilhar. 😎

[@OrganicSheets]

Ótimo conteúdo como sempre, valeu Nascimento.

[@andrelucasdeoliveiramoreir3958]

muito bom! Cria mais vídeos com esse proposito amigo!

[@pateznina]

Não tenho duvida nenhuma muito legal como sempre, só queria resolver o problema do menu que o botão não funciona

[@alexalvessantos8456]

Grande Marcelo. Como sempre conteúdo de primeiríssima qualidade. Sucesso!!

[@adminestaut7376]

Fantástico!! Simples rapido e objetivo. Grato d+ Até demorei um pouco para conseguir ajustar aqui rsrs, mas no fim deu certo e ainda consegui fazer algumas melhorias para minha realidade.. Só não consegui ainda migrar este cod para as pesquisas google, teria algum material? Mas desde já vlw

[@arthurtrindade5242]

Gostei demais da explicação. Parabéns. Estou procurando ajuda para fazer o contrário, preciso inserir um valor em um campo HTML. Por exemplo, tenho o seguinte form: E preciso usar o VBA para preencher esse campo. Como faria?

[@samuelguilherme2367]

Sempre um conteúdo muito limpo e bem explicado!

[@lojautl]

Porra muito bom. E agora esse mesmo conceito consegue usar ora raspar dados de 10 paginas denuma vez por exemplo?

[@carloseduard317]

Grande aula meu amigo. Bom demais.

[@wagnermartins6398]

Achei maneiro! vlw, tem algum vídeo que explica como inserir texto na página? seguindo seu exemplo, eu preencher a busca com dados da planilha?

[@marcosfavero4176]

Show Nascimento... Muito bom...

[@fnakajima]

Chapado! Parece magia!

[@AgnaldoPinheiro]

Conteúdo top. Obrigado por compartilhar.

[@joaovictors.rodrigues6197]

parabéns pelo trabalho adorei

[@lucasmenezesn2013]

O brabo do VBA

[@Ronaldoengcivil]

Obrigado por compartilhar seu conhecimento, me ajudou muito, fiz e deu tudo certo. Porém ainda preciso do link do anúncio, ou pelo menos que a informação na planilha traga o link ou hiperlink em uma das células, para que eu consiga visitar o anúncio posteriormente. Como faço para consegui extrair a informação do link? Por exemplo, esse link que está em ( href)

[@hardwarelouco]

Nascimento, sua didática é boa demais. Aqui já deu certo pegar os dados do ML, apenas nome e preço. Se vc puder, nos ensinar por favor, como pegar o link do texto. Exemplo: no ML tem o nome do produto e um link e tô precisado além do nome e do preço, pegar o link no mesmo elemento Nome, mas não estou acertando. Desde já muito obrigado.

[@DevNascimento]

Opa Mauricio, entao, você pode usar o método "getAttribute". Por exemplo: Dim linkElement As Object Set linkElement = html.getElementsByClassName("text-muted")(0) ' Ajuste o índice conforme necessário Dim link As String link = linkElement.getAttribute("href")

[@hardwarelouco]

Deu certo, amigo. Muito obrigado. Mandou bemzasso. Abraço e mais uma vez, muito obrigado. @@DevNascimento

[@Ronaldoengcivil]

@@DevNascimento Havia perguntado la em cima mas encontrei aqui a resposta. Não entendi sobre o ajuste do índice. Deu tudo certo, mas pegar o link ainda não. COpiei exatamente como o exemplo que você fez. Não sei nada de programação, vendo seu vídeo fiz igualzinho e ficou top !!!

[@ronaldrox]

Muito bom o conteúdo. Eu gostaria de saber se existe aplicabilidade desse método para automação de pesquisa em uma página. Trabalho com pesquisas de registros de medicamentos no site da anvisa, teria uma maneira de automatizar essas pesquisas e salvar o arquivo em pdf?

[@lucascavalcante8411]

🤯 top demais! 👏🏻👏🏻👏🏻

[@AdrianoMateucci-n4o]

Excelente.. só uma duvida daria para usar o Chrome ou somente mozilla ?

[@leonardorosaguimaraes5268]

fiquei com essa dúvida tbm

[@carlosfinholdt4190]

Excelente!

[@Diegowell25]

No site que quero extrair os dados as classes ficam alterando o nome, só tem atributos data-id, como trabalha capturando eles para selecionar o elemento?

[@teteudev]

O site que eu quero extrair os dados não atualiza a URL quando eu mudo a pagina da lista, como posso fazer nesse caso? Outra coisa é que nessa lista, cada elemento possui imagens associadas a ele, mas só consigo vê-las quando eu clico no elemento, que ai redireciona para outra pagina, tem como capturar as imagens de cada elemento?

[@mayke007]

Se eu não definir a quantidade de paginas? ele fica em loop até ler todas as paginas disponiveis, pq vai ter paginas que esse numero de paginas pode variar, exemplo: essa semana a na pagina teve 5 paginas, mas na outra senaa apareceu 8 paginas.... eu não defino o numero de paginas ??? qual a solução ?

[@cleutonribeiro8395]

muito top sua explicação, tentei aqui porem nao funcionou pro que eu queria se tiver algum meio de contato email agradeço

[@rafaelbec3310]

Na verdade seria bom dar uma olhada se não existe algum atributo que referencie a quantidade de páginas máximas, para deixar dinâmico. Sem ficar dinâmico as páginas fica meio incompleto a proposta

[@DevNascimento]

Claro que existe Rafael, tem tudo no meu curso de VBA 🤝

[@SmokesCS2]

no meu esta dando erro no script quando vou em por dados da web

[@alexandreagostini382]

Da pra fazer isso na casa dos dados

[@paulocesarzc]

Marcelo, desculpa minha falta de informacao... mas fiquei em duvida na parte do HEADER. Voce disse que poderia ser qualquer um, mas eu não sei o que isso faz e pra que serve. Eu não uso mozila no computador, tem problema fazer igual vc fez? Se quisesse usasr Chrome no lugar, como ficaria?

[@DevNascimento]

Oi Paulo, na verdade esse método não diferencia o navegador que você usa, ele sempre pegará o navegador padrão do seu sistema

[@paulocesarzc]

@@DevNascimento ok, mto obrigado por esclarecer.

[@msantos5967]

Tem a planilha p disponibilizar

[@wengcarlos7689]

Como eu faria pra rodar no Edge?

[@Diegowell25]

Preciso pegar dados de um site onde só aparece as informações quando estou logado, isso é possível?

[@iltonrotta]

olá tem como baixar a imagem dos produtos que apearecem na pagina do site? e sendo 5 sites diferentes?

[@DevNascimento]

Tem sim, basta capturar o link das imagens e inserir dentro da função imagem

[@MontgomeryMastersonVieira]

Cara fiz igualzinho você e o meu da "erro 91, não encontrado bloco with ou variavel', isso se dá quando um dos elementos não é encontrado, então nessa linha "http.Open "GET", url, False" o código não acha a variável, mas se colar a o endereço no navegador abre a pagina. Não consegui resolver.

[@1591597531]

Observe se você colocou as barras invertidas.

[@MrSuperrhaull]

nao consigo fazer com a coluna do telefone Te

[@niltondasilva5174]

Primeiro tem que informar de onde virá a informação do telefone: Set tel = html.getElementsByClassName("botao loga-class ver-tel") e dentro do loop onde vai salvar a informação e como ela será coletada pl.Cells(uLin + 1, 3).Value = tel.Item(j).getAttribute("data-telefone"). Repare que foi adicionado o atributo data-telefone, pois o número do telefone está dentro deste atributo. Se não indicar o atributo não consegue extrair o número do telefone.

[@cleitonalves2875]

Marcelo, seria possível baixar um arquivo pdf utilizando essa metodologia?

[@DevNascimento]

Qual seria o site ?

[@cleitonalves2875]

@@DevNascimento é um site interno da empresa onde eu trabalho, ao entrar ele não exige senha, acredito que deva usar as credenciais do windows. Mas vc acha que seria possível? E tem uma outra coisa que acontece, quando entramos nesse site, precisamos inserir o código do pdf que precisa baixar, clicar em um determinado link que irá abrir uma nova aba e depois que podemos obter o acesso a um botão que faz o download do arquivo.

[@cleitonalves2875]

@@DevNascimento então a ideia era ter uma lista dos códigos dos arquivos pdf que precisam ser baixados. E depois fazer um loop baixando um por um.

[@DevNascimento]

@@cleitonalves2875 Acredito que somente usando Selenium

[@cleitonalves2875]

@@DevNascimento entendi, ok Muito obrigado

[@systen3268]

o meu esta dando erro nessa linha "Dim html As New MSHTML.HTMLDocument " a mensagem é "ERRO DE COMPILAÇÃO - O TIPO DEFINIDO PELO USUÁRIO, NÃO FOI DEFINIDO" sou iniciante no projeto, alguém consegue me ajudar

[@niltondasilva5174]

Precisa entrar em Ferramentas e depois em referências para habilitar o Microsoft XML, v 6.0 e Microsoft HTML Object Library conforme mostra a partir deste trecho do vídeo 2:12.

[@GabrielGestorMarketingplace]

No meu não deu certo 😢

[@Fybet]

boas, to precisando de alguém para fazer esse serviço pra mim e depois filtrar os dados com um filtro de diferença de valor, tudo automático para uso diário. Alguém se abilita ?

[@euricolemos9527]

Já resolveu? Tá precisando do serviço ainda?

[@Fybet]

@@euricolemos9527 to precisando ainda

[@matheusgamer35]

Cara me ensina a deixar o VBE parecendo o visual studio code pelo amor de Deus kkkkkkk, eu trabalho com vba e quase fico cego com a telona branca

[@DevNascimento]

Tem um vídeo aqui no canal ensinando, basta entrar no canal e pesquisar por "Como mudar a cor de fundo do editor VBA"

[@matheusgamer35]

@@DevNascimento achei aqui mano, infelizmente a alcoa não permite que eu mexa nas pastas, mas vou usar no meu computador pessoal kkkkkk valeu!

[@brendonmachado7321]

Explica bem, mas muito rapido, é preciso ficar voltando várias vezes o video para entender e acompanhar

[@DevNascimento]

Boa noite Brendo. Você pode reduzir a velocidade do vídeo, você encontrará essa opção no botão que fica no canto inferior esquerdo do vídeo