Como usar o GPT com seus próprios dados?

Conheça a trilha Aplicações IA com Python, da Asimov Academy:
asimov.academy/trilha-aplicac...
Criar um assistente virtual que utiliza o ChatGPT com seus próprios dados é muito mais fácil do que você imagina.
Utilizando Python e a biblioteca LangChain, podemos alimentar LLMs com qualquer tipo de dados que possuímos e criar sistemas verdadeiramente inteligentes.
00:00 - O poder de ter um assistente personalizado
03:06 - Por que unir programação com ChatGPT?
06:28 - O que é Langchain?
12:04 - Construindo seu Assistente Próprio
26:43 - Trilha Aplicativos IA com Python

[@AsimovAcademy]

Opa! Antes de ler os comentários, dá uma olhada em mais projetos com Python no nosso site: asimov.academy

[@cr7raposo]

rpz, acho q o legal não foi a criação do assistente, mas sim vc ter criado essa base de dados.

[@jussielson2001]

Estou Estudando Análise e Desenvolvimento de sistemas E sigo vcs desde o início da minha jornada Vcs são muito top 🫡👏👏👏👏👏❤️❤️

[@mmontesbr]

O melhor vídeo sobre LLM e GPT que já vi até hoje.

[@AsimovAcademy]

Ficamos felizes por isso. Conte conosco!

[@brendagoncalves3026]

Seus videos são ótimos! Faz uma playlist sobre IA, os diferentes tipos, como é arquitetura, modelos de cobrança etc.

[@davibassani16]

Didática e conteúdos sensacionais! Meus parabéns!

[@luancardosolc]

Cara!!! Que conteúdo incrível!!! Segundo video teu que vejo, e que didática fantástica que tu tem, ao menos ao ver de um programador como eu. Sucinto, direto ponto, e explicando tudo com muita clareza. Com certeza irei adquirir algum curso de vocês!! Continue com este trabalho incrível!! ❤🙏🏻

[@artur-bb6js]

Parabéns pelo vídeo, curti demais, estou fazendo um curso de IA, estou vendo sobre esses LLMS

[@foliveir84]

Brutal! Parabéns

[@t4blitoMax]

Achei incrível o vídeo. Muito obrigado. Até quero virar aluno!

[@AsimovAcademy]

Ficamos felizes por isso, Pablo! Asimov te espera.

[@OrangeHat21]

Fazer isso usando Python, LangChain e o ChatGPT é legal. Mas fazer o mesmo usando Python, LangChain e o LlamaGPT é muito mais legal. Nada como não depender de nenhuma implementação closed-source.

[@AsimovAcademy]

Vou fazer um video na sequencia ensinando a implementar com LLM locais

[@ronaldcesar5706]

​@@AsimovAcademy isso é importante!!! os LLM da GPT são grandes "caixas pretas" pois é um serviço proprietário.Muitas vezes, você pode encontrar um modelo de código aberto que resolve seu problema específico e que é várias ordens de grandeza menor que o ChatGPT, permitindo que você traga o modelo para seu ambiente e hospede-o você mesmo. Isso significa que você pode manter os dados sob seu controle para preocupações com privacidade e governança, além de gerenciar seus custos.😀😀

[@renanxavier9046]

No caso pra usar um modelo de LLM local eu precisaria de uma máquina relativamente potente? Toda vez que eu for querer rodar o modelo ele vai estar consumindo memória da minha máquina? Não entendo direito com modelo open source que roda local em como ele é treinado.

[@sulimararse]

Aplicações inteligentes assim e me incentiva a aprender programação. Tão inteligente quanto as aplicações e a seleção de materiais que vocês disponibilizam. Parabéns!

[@AsimovAcademy]

Agradecemos pelo seu feedback, ficamos felizes por isso. Conte conosco!

[@THEBIGBANGTHEORYBRA]

Excelente conteudo!!!!

[@renansilva1362]

Incrível. Raro esse tipo de conteúdo no Brasil. Parabéns Rodrigo, eu como aluno estou muito satisfeito, inclusive, queria ter mais tempo para estudar mais!

[@AsimovAcademy]

Agradecemos, Renan. Continue contando conosco.

[@wesleyaguiars]

Muito bom!

[@italloryan1089]

Primeiro! hehehe. Esse canal é sensacional, viciado nos vídeos!

[@marceloborges6782]

Objetivo e completo!

[@LuizGustavo-km1yb]

Conteúdo altíssimo nível, vou assinar com ctz, queria mt um curso focado em langchain e usando repo do huggingface. To curioso tb com bancos vetorizados e como podemos gravar o conteúdo aprendido em armazenamento, acho que seria o faiss mesmo.

[@Sombra-Gamer]

Da ate vontande de começar a fazer essa linha de trabalho. E muita tecnologia.

[@xandreguimaraes]

Fantástico, pena não poder dar um zihão de likes...sem palavras, parabéns.

[@AsimovAcademy]

Agradecemos, Xand. Conte conosco!

[@guylherme577]

Primeiramente parabéns pelo conteúdo Incrível! Agora gostaria de saber qual é a diferença entre treinar o ChatGPT usando Python com LangChain e Fine-tuning, e criar Assistants que utilizam arquivos diretamente ou uma loja de vetores para consulta de documentos?

[@AsimovAcademy]

Olá, agradecemos Guylherme! A primeira forma modifica a IA: você cria um modelo de IA novo, retreinado para uma tarefa ou ação específica. Já a segunda envolve sobretudo engenharia de prompts e RAG, que são técnicas complementares mas que não alteram a IA em si.

[@ramonoliveira_dev]

Muito show! Conseguiria usar uma LLM localmente no meu PC? Algum modelo pequeno como o Phi-3?

[@alexfrensch]

Muito bacana! Em vez de um arquivo com perguntas e respostas, seria possível ensinar a IA a ler um conjunto de leis e normas técnicas para responder dúvidas de usuários?

[@AsimovAcademy]

Olá, Alex! Sim, é bem possível e temos projeto disso na plataforma.

[@rraul]

Bacana! Como você poderia acrescentar um revisor (outro llm corrigindo) usando o pyautogen?

[@JimmyCarvalho]

Quão diferente é fazer com o llama 3 e Groq? O Lamma 3 é melhor que o GPT-3.5

[@iamacroeconomia]

Qual é essa ferramenta que você usa para edição dos scripts, em especial dessa aula e também do curso?

[@heldermauricicio]

Tenho 150000 email trocados com os clientes em muitos anos , gostaria de utiliza-los como aprendizado para responder novos email baseados nos históricos de compras e credito de cada um , inclusive o banco de dados de todas as notas emitidas Por onde devo começar ?

[@coelho2702]

Deve tratar os dados, ou usar uma ia de visão computacional, para identificação de documentos, se escolher tratar os dados pesquisa por dados estruturados e não estruturados, e dados bruto

[@luizfilipelima7]

maravilhoso! estou precisando fazer um assistente que me responde a partir de um unico livro (estou estudando pra medicina e me ajudaria pra caramba entender fisiologia por exemplo) será que é possível com esse método?

[@AsimovAcademy]

É possível sim, Felipe! A diferença seria na etapa de RAG, onde, ao invés de alimentar o modelo com dados CSV, alimentaríamos com um arquivo em pdf. Abraços!

[@andredalmayt]

Como usar um assistente criado dentro de uma aplicação propria? é possivel fazer um embed?

[@robsonflowers]

Uma coisa que até hoje não entendo: onde ficam instalados os sistemas em Python? Consigo usar no servidor VPS da Hostgator?

[@AsimovAcademy]

Olá, Robson. Python em si pode ser instalado em qualquer computador e em qualquer sistema operacional. Então sim, é possível instalar Python em um servidor como os da Hostgator, desde que você tenha permissão para instalar programas e rodar código nele.

[@motivame_off]

Top

[@HelcioCarvalho]

Ótimo video. O arquivo CSV, não pode conter virgulas pois dará erro, nos meus testes aqui não consegui contornar a não ser removendo direto.

[@kosakasprakopas9768]

Você removeu virgula por virgula do arquivo dentro do VS Code?

[@pitubul7280]

00:02 Using AI to respond to customer emails 01:58 Using GPT to customize responses based on your own data. 05:55 Using GPT with personalized data is easy with Python and Link Chain library 08:13 Words in language models are translated into vectors for mathematical processing. 12:27 Setting up python.env for GPT with OpenAI access key 14:41 Setting up GPT with custom data 18:25 Using GPT for research with C data 20:06 Creating suitable prompts is crucial for good AI results 23:43 Using GPT to provide personalized course recommendations for beginner students. 25:19 Transform GPT models into interactive agents Crafted by Merlin AI.

[@mrludolff]

Up!

[@foliveir84]

Tenti usar numa base com 7000 linhas mas o processo de vetorizar é muito lento, longos minutos, há forma de ultrapassar?

[@ellitondias633]

Teria como fazer uma gratuita e usar em apps via api?

[@MrAbdrus]

Qual a melhor IA para interpretar gráficos em imagens?

[@AsimovAcademy]

Difícil bater o martelo e decidir qual é "a melhor", até porque novas IAs estão surgindo a cada semana. Mas o GPT Vision (GPT-4V) funciona muito bem para isso, inclusive temos curso mostrando como usá-lo na Trilha de IA 🙂

[@felipheblatt]

É passível de banimento? Como ficam as questões legais quanto a usar a versão básica para uso empresarial? Muito interessante a ideia. Bom vídeo!

[@giovanicamelodonascimento5917]

Preciso de ajuda pra tirar uma dúvida! Eu só tenho um tablet, eu conseguiria aplicar o ensinado nesse vídeo por ele?

[@AsimovAcademy]

Consegue sim. Te sugiro usar o Google Colab ou o app Juno Connect para criar um servidor Jupyter e desenvolver por ele. Abraços.

[@pixondu6833]

Legal! Só pra eu entender... pra ter esse langchain "rodando", preciso de um servidor? já que ele vai estar fazendo uma "ponte" entre os notion e api do gpt pelo que entendi...

[@pixondu6833]

Outra coisa, por exemplo, você falou que poderia ter 100k de linhas e que aquele negócio de vetor iria achar a porção que melhor se encaixa para responder a pergunta, ja que o gpt nao tem capacidade pra tanto token. Isso não deixaria partes de fora? nem que pequenas, mas importantes partes. não sei se fui claro...

[@AsimovAcademy]

Sim, sempre existe o risco de parte da "melhor resposta" ficar de fora dos resultados, e isso vai depender do algoritmo usado para a busca do conteúdo relevante. Mas isso é inerente a qualquer sistema de busca. Mesmo quando usamos o Google (que provavelmente possui o algoritmo mais avançado nesse sentido), há sempre o risco de algum resultado relevante ficar de fora.

[@pixondu6833]

@@AsimovAcademy ahh, entendi. Muito obrigado ☺️

[@jhonatandarochaleao6225]

poderia disponibiliza o arquivo de texto

[@victorlimaa711]

Ótimo vídeo, mas como faço para aplicar isso a um e-mail

[@AsimovAcademy]

Olá, Victor! Dá para baixar o conteúdo de emails automaticamente e mantê-lo em um banco de dados, para aí passar para o assistente. Mostramos como fazer essa automação com emails nesse curso: hub.asimov.academy/curso/consumo-e-segmentacao-de-emails/

[@JulioBMandu]

Não encontrei no site do Asimov a trilha que comenta no final.

[@AsimovAcademy]

Olá, Julio! A Trilha Aplicativos IA com Python é nova e a página ainda está sendo elaborada. Logo, logo vai ao ar! Mas todos os alunos, tanto do plano anual quanto do vitalício, tem acesso garantido a ela.

[@MaikBraga]

Compartilha o script com a comunidade!

[@ideiax]

Excelente vídeo! a chain é paga? Vi no site e parece que sim :/

[@AsimovAcademy]

Dependendo do uso que for feito, existe um nível gratuito. Dá para ver os detalhes aqui: www.langchain.com/pricing

[@walney2008]

minha chave de api do chatGPT esta com cota excedida como fazer o mesmo com a gemini ?

[@AsimovAcademy]

É possível sim. Para isto, será necessário trocar a LLM na instanciação da Chain. Aqui está um exemplo de uso com a Gemini: python.langchain.com/docs/integrations/chat/google_generative_ai Abraços

[@walney2008]

muito massa seus videos obrigado, desejo aprender criar web apps tipos esses do Bubble e FlutterFlow mais com streamlit, e uma IA pode ajudar

[@walney2008]

tipo o glide consegue ler um csv e cria um web app, desejo aprender fazer parecido mais em python com streamlit, tu eh fera em pandas pode ensinar como pode fazer isso ?

[@prvdev]

eu e meus colegas nao conseguimos o mesmo resultado, está dando erro em diferentes pontos...

[@leosalvador5331]

O meu também

[@franciscoaraujo663]

Csv delimitado por vírgula? Mude para ;

[@daniel-azevedo-maia]

Infelizmente aqui não funcionou. Segui todo o tutorial corretinho.

[@brendonmachado7321]

"simples assim" kkk