Como Fazer Fine Tunning Do GPT Pela OpenAI

[@Ricardo15310]

Parabens pela didática... eu que estou engatinhando no assunto, consegui entender bem!

[@inteligenciamilgrau]

Valeuuuuuu Ricardo!! Fico feliz demais em saber!! Obrigadão!!

[@deogenesnicoletti1777]

Sou desenvolvedor tentando conhecer este mundo louco da IA, e seu canal é muito bacana digo isto porque acabei de escutar um material muito semelhante mas completamente difícil de entender em outro canal, e aqui entendi, parabéns pelo material

[@inteligenciamilgrau]

Faaala Deógenes!! Eu estou sempre tentando simplificar!! Acredito que o fine tuning da OpenAI é o mais didático!! Se você o vídeo sobre tunar o Llama 3 vai ver que já não é tão simples! rsrs Valeuuuuuuuu Fine Tuning do Llama 3.1 kzbin.info/www/bejne/nXbTaH2ChqeHjpI

[@prof.joaopaulocecato_1]

Muito bom! Ate mesmo para quem não é da área!

[@inteligenciamilgrau]

Valeuuuu professor João!! Fico feliz em ler seu comentário!! Obrigadão!!

[@ElaraArale]

Esta uma sequencia de videos bons, parabens

[@inteligenciamilgrau]

Uhuuuuu, valeuuuu

[@viniciuselias007]

nossa isso e otimo mano da pra criar uma coisa bem especifica com isso eu tava pensando em focar se ( eu não tivesse com meu projeto de robotica em andamento ) uma i.a especifica para ajudar as criacas de 5 anos pra cima a estudar mais , tipo uma i.a coleguinha, mais que estimularia a crianca a desenhar escrever historias e brincar , mais brincadeiras que ia ensinando ela a aprender mais , pois criancas de 5 anos em diante são mais facil de lidar e tambem respeitar mais e estao em fase de aprender...

[@ElaraArale]

Inspirador.

[@inteligenciamilgrau]

Faaaaaaala Vinicius!! Muito bom!! A criançada hoje quando nasce já vem com iPhone e USB! Certeza que esse é o tipo de projeto bom para estimular o aprendizado desses pequenos!! O jeito mais simples de fazer algo desse tipo é criando um GPT! E eu acredito que quando a OpenAI liberar o app novo, praticamente vai fazer isso naturalmente!! Vc já testou a conversação pelo app?

[@viniciuselias007]

Sim a do 3.5 minha filha gosto de falar com ela. Vamos ver a 4.0 vai ser top d mais...Tmjj vlw

[@inteligenciamilgrau]

A Google lançou umas ferramentas de educação agora na terça no Google IO!!! Isso logo logo vai ser nativo das plataformas!! Uhuuuuuu

[@jorgeandrelegnani9010]

Parabéns pelo vídeo, ganhou mais inscrito. Uma dica por favor: se eu quiser treinar o gpt com diversos arquivos, como treinos de academia por exemplo. onde eu tenho diversos treinos orientados em pdf, para diferentes objetivos, tipos de treinos, etc... Como faço, qual a dica, por onde eu começo? Seria no Assistants e subir os arquivos lá? O objetivo, é, para quando o usuário pedir a recomendação de treino, o gpt recomende um treino baseado nos meus materiais, que são de alto valor

[@inteligenciamilgrau]

Faaaala Jorge!! É uma pergunta difícil de responder porque envolve analisar as respostas, se elas estão boas ou ruins!! Mas dá sim para fazer um assistant com os documentos que você tem!! Porém o ideal é você começar a coletar as perguntas que os usuários fazem e avaliar se a resposta do chat está boa ou não!! E com isso fazer um fine tunning com o estilo de resposta e com o conteúdo que vc considera correto! Isso vai refinar o documento que você usa, escolher o que realmente interessa para reduzir alucinações!! E no fim pode ser que vc realmente consiga resolver o problema usando um Assistant ou pode ser que evolua para um sistema com agentes estilo crewai ou RAG para criar mais etapas antes de dar as repostas!! É um trabalho interessante que vale a pena!! valeuuuuuuuuu

[@jorgeandrelegnani9010]

@@inteligenciamilgrau Você tem algum tipo de serviço de consultoria ou implementação?

[@inteligenciamilgrau]

@@jorgeandrelegnani9010 No meu plano de membros de nível empreendedor eu faço consultoria!! Faço a orientação dos projetos que você tem em vista de como operacionalizar, as tecnologias possíveis e os caminhos!! Se já tiver alguma coisa rodando melhor ainda!

[@rogercardosolemos7725]

Estou esperando anciosamente para a opção de fine-tuning para o GPT -4

[@inteligenciamilgrau]

Faaaaaala Roger!! Na época que gravei não tinha! Atualmente suporta 4o e 4o-mini também!! Valeuuuuuuuuuu

[@tiagotfdias8764]

Muito massa seus videos, sou QA e gostaria de criar cenários de testes melhores, ou analisar User Stories que possam ser conflitantes no sistema que estará sendo desenvolvido. Como eu poderia fazer pra treinar um modelo? Ou seja eu tenho os requisitos em PDF, mas alguns modelos não sabem o que é teste de software muito bem. Poderia me dá uma dica?

[@inteligenciamilgrau]

Monta um dataset com os melhores testes para casos específicos!! E isso vai ajudar ele a saber o teste ideal para os casos que você costuma testar!! Eu diria que vale a pena começar colocando os testes de exemplo no prompt antes de fazer o fine tuning!! E a hora que começar a ver que a geração de testes está boa usando prompt, faz o fine tuning! Valeuuuuuuuu

[@aleksanderr0]

opa beleza? COnsigo fazer essas afinações com informaçoes me banco de dados? criei um pront que a API converte a pergunta em consulta SQL e faz a consulta através da conexão via Firebird, porém o chat faz a consulta usando nome padrões de tabelas, queria treiná-lo a usar os nomes das tabelas e seus significados Precisamente do banco de dados que ele está conectado, tem video seu ensinando algo do tipo?

[@inteligenciamilgrau]

Faaaaala Aleksander!! Tem várias formas de resolver isso!! Você pode passar os campos do banco de dados no prompt! O modelo vai seguir as palavras que passou!! Mas se vc quiser garantir ainda mais, peça para o modelo responder em json e configura o chat para responder em json!! E você diz os campos que gostaria e faz uma função que executa os comandos passados no json!! E sempre que possível passe exemplos de como deve ser o comando SQL que vc quer que ele execute!! Uns 3 exemplos vão garantir que esteja tudo sempre certinho!! Esse tipo de programação de escrita dinâmica de prompts é tranquilo de fazer!! Veja se dá certo!! Valeuuuuuuuu

[@aleksanderr0]

@@inteligenciamilgrau cara, nao sei se eu entendi errado ou nao to fazendo certo mesmo, mas nao consegui nao kkk

[@CarlosRedoanroberto]

Que top parabéns pelo conteúdo, qual a diferença do Fine tunning e RAG, não seria a mesma coisa? Só diferencia que um vc da o conteúdo através de arquivo e outro você cria um modelo treinado através de arquivos? Seria top também se pegasse esse dados através de uma API e pudesse agendar o treinamento com aquilo que atualizou tipo uma vez por semana.

[@inteligenciamilgrau]

No Fine Tunning você modifica o modelo e isso modifica a geração de texto! No RAG você faz uma busca semântica por similaridade de trechos!! Ou seja, ele pega um documento, quebra em partes e vê a semelhança entre o que vc digitou e aqueles trechos!! O Rag não gera o texto, depois que ele encontra o texto semelhante, ele envia o texto para o modelo que gera uma resposta!! Uhuuuuu, valeuuuuu!

[@CarlosRedoanroberto]

👋

[@joaosoares7962]

VIDEO MUITO TOP AMIGO!! PARABENSS tenho apenas uma duvida, poderia me ajudar? Eu queria usar o fine-tunning para treinar um modelo apenas para ter uma personalidade especifica e uma forma de comunicação, mas, não queria que o modelo atribuísse informações além disso, como posso fazer isso na preparação de dados do Fine-tunning?

[@ElaraArale]

Depende do metódo, e de como você estaria fazendo isso, por exemplo para um chat gpt, ou aplicativos de chatbot, sim poderia sim, com um fine tuning, intruções, que fale de uma determinada forma e jeito, ou seja, moldar ao seu querer, da pra fazer isso com o chat gpt sim, na versão paga do chat gpt, você tem a capacisade de fazer seus proprios bots, com suas intruções, logo do jeito que você quer, com seu fine-tuning, em paralelo, existe modelos gratis, com a mesma função mas de graça, como o PERCHANCE, um site de modelos de i.a de graça e voce pode ver seus modelos de chat bot, que oferecem de graça e fazer seu fine-tune

[@joaosoares7962]

@@ElaraArale é que eu iria fazer uma mistura de metodos, usaria RAG entregar ao modelos as informações que eu quero que ele tenha, mas queria moldar a personalidade do bot sem precisar colocar isso em prompt, ai queria saber se é possivel atravez do fine-tunning moldar APENAS a personalidade sem dar informações para o bot

[@ElaraArale]

​@@joaosoares7962 Sim sim desse jeito que tu diz, da pra fazer sim, nao sera perfeito, mas entendo tipo um bot, pra cada personagens e fazer eles interagirem entre si, e por ventura tambem ter um mestre e jogo, como Rpg e fazer cada um, um bot individual ne?

[@ElaraArale]

​@@joaosoares7962porque se for o que eu disse no meu comentario anterior, eu ja utilizo pra jogas rpg por texto, onde tem os personagens com suas personalidades próprias, enquanto tem o narrador, e até minha escolhas moldam a historia, se for isso que tu queres, confirma.

[@inteligenciamilgrau]

Faaaaala João!! Se você quiser treinar uma personalidade do assistente, porém não quer treinar junto o conteúdo, treina o estilo do seu assistente sem usar o conteúdo que vc gostaria!! Por exemplo, se quer que ele dê sempre respostas secas e curtas em um contexto de um atendente da padaria, treina ele dando respostas secas e curtas em todos os contextos menos os de padaria!! Porque aí quando vc fizer o prompt com o conteúdo que deseja, ele pega o estilo, mas não tem as respostas e vai usar do prompt!! Veja se é isso!! Valeuuuuuuuuuuuuuu

[@DyanneCavalcanti]

É possível treinar com artigos ao invés de QAs? exemplo. Para que ele siga um certo padrão de comunicação na escrita de artigos de blogs. Preciso de no mínimo 100 artigos para treiná-lo?

[@inteligenciamilgrau]

É possível treinar com estilos de artigos sim!! Eu diria até para você buscar nos GPTs para ver se alguém já não fez um para artigos! Ou se o SciSpace ( typeset.io/ ) que é especializado em artigos, se ele já não escreve!! Se eu fosse fazer um modelo de artigos, eu faria um que gera o texto todo de uma só vez e outro que gera trechos específicos como resumo, conclusão, metodologia separados, etc, separados!! Veja o que funciona melhor!! E testa também escrever um prompt padrão no chatgpt mesmo, sem fine tuning, explicando e enviando alguns exemplos, até ficar bom a explicação e ele estiver obedecendo! Valeuuu

[@emerson5500]

Olá, quando que eu usaria Fine Tunning e quando usaria RAG?

[@inteligenciamilgrau]

Faaaala Emerson!! Pensa o RAG como um dicionário! E o Fine Tunning como melhorar a geração de texto! Se você quer consultar um documento, procurando trechos, você precisa de um dicionário! Se você quer contextualizar as respostas melhor, faz fine tunning!! No geral dá para fazer RAG e engenharia de prompt e resolver 99% dos problemas!! Eu só faria Fine Tunning nos casos que a quantidade de texto for grande e o custo por tokens estiver se tornando inviável!! Aí vc gera os dados e faz o treinamento!! E em alguns casos o Fine Tunning pode ser mais adequado quando falta alguma informação ou forma de responder do modelo! Começa resolvendo seu problema com RAG e engenharia de prompt! Se não resolver, avalie se é o caso do Fine Tunning! Ele é a solução mais custosa, então só use quando realmente entender que faz sentido!! Valeuuuuuuuuuuuu

[@pedrozawislak4421]

Animal o vídeo! Sabe se é possível criar um sistema de auditoria das respostas retroalimenta o modelo fine-tuned? Exemplo: se a resposta para "Qual o nome do apresentador do canal?" tivesse sido "José", poderíamos indicar que a resposta estava errada e o motivo de maneira que o modelo aprendesse isso e corrigisse para a próxima vez que a pergunta aparecesse?

[@inteligenciamilgrau]

Faaala Pedro!! É possível sim através da API!! Você pode automatizar a atualização do arquivo e fazer um fine tuning sim!! Eu recomendaria deixar acumular bastante dados novos e fazer o fine tuning uma vez por dia ou uma vez por semana!! E enquanto isso ir colocando dados para consulta no próprio prompt ou fazendo RAG (tem vídeo no canal explicando)!! Sobre a API tem as informações aqui: platform.openai.com/docs/api-reference/fine-tuning

[@jonathanmkt]

Amigo... sou programador Nocode, faço aplicativos e sistemas sem código, uso o Bubble para isso. Será que consigo gerar essas planilhas para o ajuste fino e integrar esse novo modelo afinado às minhas aplicações via chamada API? Mesmo sem saber Phyton?

[@inteligenciamilgrau]

Fala Jonathan!! Consegue sim!! Vai ser preciso configurar uma API! Acredito que alguém já deva ter feito algum componente desses pro Bubble!! Dá uma conferida!!! Você só vai passar o nome do modelo treinado ao invés de passar o nome do modelo da OpenAI!! Valeuuuuuuuuuu

[@otimistarj]

voce consegue ajustar um estilo de escrita pelo RAG ? ou somente com Fine tuning ?

[@inteligenciamilgrau]

Estilo de escrita no RAG não! O RAG é focado em consultar documentos mesmo e arquivos grandes!! Estilo você consegue fazer direto no prompt ou com fine tuning!! Em geral no prompt já resolve 90% dos casos!!

[@otimistarj]

o fine tuning voce pode usar textos da pessoa para ele aprender o estilo, ou sempre tem que ser na base perguntas/respostas ?

[@inteligenciamilgrau]

Você que vai definir isso!! Pode ser um estilo, ou pode ser um conteúdo que ele desconhece! E no treino se você quiser colocar apenas uma, duas, três ou mais interações, isso é com você! É tentativa e erro até acertar o que funciona melhor!!

[@victorferreira2742]

tentei fazer alguma coisa parecida e não funcionou bem. o que temos que informar em System não está muito claro pra mim para o meu caso de uso. No meu caso, eu quero criar instruções, informar ao chat uma entrada e receber uma saida esperada Ele não lida bem com esse tipo de dados.

[@inteligenciamilgrau]

Você coloca no system a informação que vai ativar aquele tipo de resposta esperada!! Isso direciona para o treino que vc está fazendo!! Valeuuuuuuuuu

[@ricardorohling-pessoal6261]

O meu Json falha ao importar, oque pode ser? teria algum video explicando como fazer e importar?

[@inteligenciamilgrau]

Faaaala Ricardo, tem que ser um jsonl, no próprio site diz onde está o erro! Pede pro chatgpt revisar! Valeuuuu

[@capsee8232]

Como que faço para deixar o arquivo separado por linhas?

[@inteligenciamilgrau]

Esse arquivo você pode dar alguns exemplos para a IA, no chatgpt mesmo, de como você quer o formato dele, e depois envia o conteúdo e o chat vai montar para você!! Foi assim que eu fiz!! Valeuuuuuuuuuu

[@Carlos-jv8qr]

Como eu conecto isso com meu Assistant agora?

[@inteligenciamilgrau]

Faaaaala Carlos, você precisa passar o nome do modelo para o Assistant!! Se for via Python, é só passar o parâmetro model com o nome do modelo! E se for via platform dentro da OpenAI, você consegue escolher lá no final da lista aparecem os modelos "FINE TUNES"!! Valeuuuuuuuuuuuu Aqui tem a documentacao dos assistants: platform.openai.com/docs/api-reference/assistants

[@lucasbergamo7607]

como eu removo um finetune?

[@lucasbergamo7607]

pela api nao remove. ele diz algo de onwer

[@inteligenciamilgrau]

Faaaaaala Lucas!! Imagina que vc tem um modelo 8B sem fine tuning em um arquivo! Depois que vc tunar, ele gera um novo arquivo com outro nome com as modificações!! Isso significa que para "retirar o fine tuning" é só voltar para o primeiro modelo de origem!! Quando você começa um treino, ele não consegue voltar! É um processo só de ida!! Você tem os arquivos que usa como base e pode voltar neles (remover seria isso, voltar para um ponto anterior)!! No geral as técnicas de fine tuning não alteram o modelo original. Elas podem acrescentar camadas novas de rede, mas nesse caso se vc tiver interesse, precisa se aprofundar nos estudos de IA mesmo! Mas quando você faz o fine-tuning, o arquivo gerado empacota o modelo antigo e as modificações, parecendo que juntou tudo! E por isso é algo avançado trabalhar dessa forma!! São várias técnicas de fine tuning com estratégias diferentes, uma delas chama LoRa! Dá uma pesquisada! Valeuuuuuuu

[@lucasbergamo7607]

@@inteligenciamilgrau opa! show.. mas eu digo remover o finetuning que voce criou com base no modelo base... tem um endpoint na openai delete finetuning..mas nao funciona.. ja conseguiu testar ?

[@inteligenciamilgrau]

Realmente!! Agora entendi!! Se vc estiver tentando apagar algum modelo que não é o seu, ele vai dar essa mensagem do "owner" que significa que só pode excluir os próprios modelos quem for o owner da conta!! Na documentação diz isso "You must have the Owner role in your organization to delete a model." !! Isso significa que você vai precisar de uma chave criada por um proprietário ou algo assim! Não cheguei a testar isso ainda! Mas já vi pelos foruns que mesmo apagando, ele vai continuar aparecendo no site! platform.openai.com/docs/api-reference/models/delete