A Maneira Mais Rápida de Web Scraping? Jina AI - Provado!

[@eu.diegopro]

Ontem passei o dia elaborando o código para raspagem de um site. Esse video teria me economizado bastante tempo rsrs. Excelente como sempre mestre!

[@jacielrj]

Man tá osso, pq com essa aí facilita mas parei de novo pq não quero usar o gpt ou se usar tinha que ser gratis, não quero gastar, tô fazendo pra puxar as noticias do portal da faculdade.

[@douglasalmeida4684]

Top de mais, . Eu comecei a mexer com automacao faz 1 mes, desde então estou tentando fazer raspagem mas sem sucesso, até ver esse video.. depois de ver esse video fiz em 20 minutos..salvou de mais.. Pra ficar melhor ainda, eu queria fazer a "raspagem" sempre que tivesse atualização no site da raspagem....

[@AndrePrado]

boa! que bom que deu certo Douglas! não sei se dá pra fazer o que vc quer, mas vc pode raspar todo dia e comparar se tem diferença, pelo menos é uma forma de resolver o problema

[@dariocsantos]

Cara, esse conteúdo, foi extremamente relevante para mim. Obrigado.

[@nickvasc]

Ligue o material! Parabéns!! 🎉

[@jacielrj]

Legal👏👏👏 Vou testar faz tempo que procuro algo assim

[@joaotextor4094]

Cara, se tu dá esse conteúdo incrível de graça aqui no KZbin, to muito curioso pra ver o que tem na comunidade paga. Vou aproveitar o final de semana pra conferir. Tá de parabéns.

[@TiagoMcwb]

nossa que interessante

[@nickvasc]

Assistindo o vídeo de novo porque ele é top!

[@gustavonesi9442]

Boa noite, eu estava precisando de uma dica sua, estou usando o DifyAi como Chatbot para a minha aplicação e nele tem uma requisição GET para o n8n só que nao esta conseguindo fazer a requisição GET, já tentei várias coisas, mas pelo que entendi por o n8n esta sendo inicializado no meu localhost e acho que tem algo no difyai que nao consegue fazer essa requisição em localhost, caso sabia de alguma funcionalidade dessa poderia me dar uma dica

[@marvinfiori2541]

Excelente conteúdo!

[@AndrePrado]

Que bom que curtiu! 😁

[@marvinfiori2541]

@@AndrePrado já implementei em 2 apps aqui haha

[@Wonders_world]

Parabéns e obrigado. Eatava louco procurando uma solução pro meu caso e ajudou

[@AndrePrado]

é muito boa né? eu gostei demais também! valeu!

[@cotomax]

Muito top, este André é prendado demais!

[@JoséluizPilatti]

👏🏻👏🏻

[@wendellaurindo5343]

Muitoo boom🎉

[@caioguibr]

eu cheguei aqui justamente pq eu to precisando trocar de casa e preciso monitorar os sites de imobiliaria pq meu aluguel vai subir 800 e to lascado

[@paulovictoralcantara]

Valeu!! Ótima dica André. Testei aqui agora. Uma pena que não conseguiu pegar dados de um perfil no Instagram. Ainda estou a procura de uma forma de pegar nome e bio de usuários no Instagram.

[@AndrePrado]

esse problema é bem mais complexo, provavelmente tem algumas libs com código que fazem isso

[@jhonnydt]

Olá André, vídeo sensacional, vai ajudar demais!! Deixa eu perguntar, hoje exite alguma IA que faz web scraping em sites que precisam de dados de busca?

[@AndrePrado]

obrigado! cara, não entendi bem sua pergunta, como assim dados de busca?

[@jhonnydt]

@@AndrePrado Opa, só vi agora, então, sites que preciso inserir um dado para conseguir a informação na página, como detran, por exemplo.

[@RuanLeitte]

Fala andré, tudo na paz? Me tira uma duvida, eu to procurando emprego em um site que tem mais de mil anuncios. Cada anuncio, é disponibilizado o endereço e-mail no corpo de cada anuncio. O site parece o indeed. Como posso usar o webscr para me ajudar coletar esses emails ? É um traampo do caramba ficar abrindo anuncio por anuncio, coletando email por email e mandando curriculo na sequencia.

[@AndrePrado]

Ruan, tenta usar o Jina mesmo aí, se vc precisar fazer login aí precisa de algumas ferramentas mais rebuscadas que estão além do meu conhecimento atual hahaha

[@alexdonega]

Descordo 😂 meu software é no code e mais simples e fácil... Haha porém ainda anão lancei no mercado.. Não precisa de N8n... Porém ficou legal sua forma... Parabéns... Vou testar.... ❤

[@AndrePrado]

hahaha valeeeu! na verdade o Jina também não precisa do n8n, só usei pra agilidade mesmo hahaha

[@cruzeirocrivellari]

To tentando fazer uma automação pra raspar dados de farmacias da região, eu tenho que comprar 2 remedios especificos todo mes, da um trabalheira olhar em 5-6 farmacias diferentes e comparar os preços. Infelizmente o jina nao funciona em alguns deles, como na Pague Menos

[@AndrePrado]

pode ser pq o site renderiza de uma forma diferente, infelizmente não é perfeito tenta usar o firecrawl por exemplo, se não der, aí precisa ir mais a fundo

[@gustavosuim]

Andre, excelente video. Alguma sugestão para sites que temos que logar antes de acessar os dados?

[@AndrePrado]

esse problema é um tipo de problema que depende da plataforma que vc quer fazer o scraping. Em algumas vc consegue simular o login com o próprio scraper, em outras vc precisa ser mais "esperto" hahahah Mas é difícil mesmo, não tem uma forma específica de fazer isso dar certo

[@Equilibriumtce]

Meu está alterando a váriavel a cada pesquisa no assist OpenAI,

[@AndrePrado]

não entendi

[@caioguibr]

o lance do bot carregar diferentes quantidades é por causa de paginação do site alvo...nao é falha da jina, é particularidade do site. teria que ter uma rotina que indexa o site primeiro e depois faz o scraping

[@AndrePrado]

verdade Caio, faz total sentido, obrigado por ajudar

[@romariooliveira5427]

Ele consegui pegar resultados em tempo real...

[@AndrePrado]

ele consegue puxar os dados atualizados, mas vc precisa chamar sempre, não tem uma forma de pegar dados em tempo real ainda

[@romariooliveira5427]

@@AndrePrado obrigado Andre..segunda feira estou entrando no seu treinamento ...tmj

👏🏻🚀 valeuuu

[@danieldias76]

Top o conteúdo! André você já chegou a usar o Automa ? To brincando com ele e achei bem legal, você têm alguma opnião sobre ele?

[@AndrePrado]

nunca mexi cara, é aquela extensão do browser?

[@luisspader6508]

Vídeo muito bom. Se puder só aumentar o tamanho da fonte, pois está difícil de ler

[@AndrePrado]

valeu pelo feedback Luis! os próximos vídeos já estão melhores hahaha

[@paulompramalho]

Amigo, socorro! Como faz no caso de sites que pede login e senha?

[@AndrePrado]

não tem jeito, tem que achar outra forma de fazer scraping

[@abaldiotti]

Bom dia, tudo bem? Eu preciso fazer um web scrapping em um site com login. É possível?

[@AndrePrado]

com essa ferramenta não, vc preicsa de algo mais avançado

[@bruno-d2r]

Pyautogui

[@elioenaisiqueiracosta6748]

Eu recomendaria o selenium

[@PawnxzTM]

Tentei fazer um web scraping no Google Maps com a palavra-chave "Barbearia" em São Paulo, mas não deu certo. Acredito que seja pela questão do scroll infinito e a cada momento que você muda de localização, muda os resultados. Você sabe qual o melhor jeito de resolver isso? Antes eu usava o PhantomBuster, mas ele ficou limitado.

[@AndrePrado]

não sei dizer cara, deve ter ferramentas especializadas nisso no mercado, o Jina é mais simples mesmo

[@amaica01]

como poderia pegar dados do instagram?

[@AndrePrado]

instagram precisa usar outras ferramentas, pq precisa fazer login, é mais complexo

[@amaica01]

@@AndrePrado sugere alguma?

[@gestordescomplica]

Seu curso é pra LEIGO?

[@AndrePrado]

é sim cara, aproveite os 7 dias de garantia e vê se é pra vc, dá tempo de fazer o curso duas vezes

[@n4d4s]

perdão pela minha falta de conhecimento, não sei como funciona direito, mas será q é possivel criar um reader pra pesquisas do youtube sobre determinados temas? por exemplo pega o tema "como ganhar dinheiro online" ai lê todos os títulos e quantidade de views cria um banco de dados com isso, e joga pro gpt avaliar as melhores palavras relativo aos resultados ai com essas palavras daria pra ter um parâmetro pra criar videos de outros temas

[@AndrePrado]

dá pra fazer isso sim, é só pegar a url de busca do youtube e jogar no jina: r.jina.ai/kzbin.info?search_query=ganhar+dinheiro+online

[@albertojulio]

Top ! tava pensado nisso hoje, tas lendo pensamentos André? 🤭

[@SolluSaaS]

Já comparou o Jina com o Firecrawler?

[@AndrePrado]

não, mas já usei o firecrawler e achei muito bom

[@LucasOliveira-Labs]

minha maior dificuldade nesses videos de webscraping e que todo mundo so faz videoso sem autenticacao, mete um web scraping ai acessando o linkedin ou as autenticacoes do indeed ahahaha

[@AndrePrado]

scraping com autenticação são outros 500 mesmo, até com código é difícil

[@SUNY21]

show

[@rjperfumado]

Podem dar um retorno do custo em R$ só dessas execuções dele no OpenAI?

[@AndrePrado]

nos testes que eu fiz na gravação desse vídeo deu 51 centavos de dólar usando o GPT-4o

[@wsapalas]

pra sites simples o melhor é o instant datascraper, plugin pra brave/chrome, icone de uma pokebola kkk

[@daniloxavier9086]

Nunca entendi qual a finalidade pra isso, se eu pudesse ver o público do site aí sim, alguém consegue me explicar pra que serve isso

[@AndrePrado]

vc pode criar bancos de dados com dados da internet, por exemplo, pegar todos os vídeos do youtube sobre um determinado assunto e fazer um estudo em cima deles (views, titulo, thumb) e ver o que converte melhor

[@walterfish-b6n]

Será que tem como pegar 600mil dados em um loop destes aí ? Será que tem persistência?

[@AndrePrado]

tem sim, mas é arriscado de qualquer forma, no-code ou com código...

[@walterfish-b6n]

@@AndrePrado eu consigo. Mas ultimamente a api mudou e algumas rotas ficaram obsoletas. Queria usar uma IA, que realmente soubesse o que está fazendo.

[@GunzIf]

bro copiaste o video do dev asiatico que fala do Jina

[@AndrePrado]

eu não copiei, eu falei sobre o Jina, agora se tem um monopólio de asiáticos sobre o Jina eu não to sabendo hahahaha

[@GunzIf]

@@AndrePrado é dificil ser ironico por texto kkkkkkk calm down

[@GunzIf]

torna acessivel pra galera que nao busca tanto. nao vi outro BR falando de Jina ainda.

[@AndrePrado]

ah tá, entendi hahahaha foi mal