Como Criar Agentes CrewAI com LLama 3.1 da Meta No Seu Computador Totalmente de Graça

Рет қаралды 4,938

Inteligência Mil Grau

Күн бұрын

Пікірлер: 49

@drn1designer908 3 ай бұрын

parabens não perde tempo.... agradeço pelo ensino

@inteligenciamilgrau 3 ай бұрын

Eu que agradeço! Valeuuuuuuuuuuuuuuuuuu

@ElaraArale 3 ай бұрын

Interessante o jeito que uso, é o LM studio, e é mais facil até, intuitivo, e quem está começando eu até recomendaria, programação 0, e tem como rodar um servidor externo, pra usar com outras aplicações se quiser usar com (Vs code e etc) e você junta com o Silly tavern, seriam esse ajustes finos e as configurações do modelo (fine tuning, intruções especificas) dá até pra mexer nas configurações de contexto, temperature, e outros valores, de novo, sem programação e bem intuitivo.

@inteligenciamilgrau 3 ай бұрын

O que eu vi nas reviews é que o Ollama performa melhor, é código aberto, e no vídeo que eu integrei o Open WebUI no ollama, ele faz mais coisas que o LmStudio! Eu no geral evito programa que sobe interface gráfica

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau Sim é verdade o Lm não é o melhor em questão de performance nem é open source completo, mas em facilidade ele é o melhor que tem, nada de programação o famoso plug and play das LLM.

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau Eu passei muito tempo pensando como eu iria rodar uma llm no meu pc, mas o LM fez isso instantaneamente, eu baixei e literalmente minutos ou segundos eu já tinha uma llm rodando no meu pc.,,,

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau Mas isso tudo sobre mais funções são compensadas com o Silly tavern, porque lá que tem as configurações avançadas, basicamente o lm sozinho não brilha, mas com o SILLY TAVERN, se torna o combo perfeito pra rodar LLM.

@felipealmeida5880 3 ай бұрын

Bom dia Bob, muito bom, gostei. Deixa eu aproveitar para fazer um pedido, você poderia dar alguns exemplos úteis do que fazer com essas IA's locais de 8B? Sei lá, criar uma aplicação simples, sem ser jogo da cobrinha, conversas hipotéticas, algo que relmente faça diferença? Por exemplo, estou no trabalho e tenho que mandar um e-mail no Windows, daí tem lá o Agente A que gera textos para e-mail, daí o Agente B que é responsável pelo sistema de envio, o Agente C pela validação, o Agente D por checar as respostas, etc. Tudo localmente e de graça. Não precisa ser algo muito complexo, um projetinho de automação qualquer só para trazer mais relevância para essas IA's básicas, mostrar a aplicação delas, porque da a impressão que o caminho é sempre ou pagar ou ter um PC parrudo para fazer algo útil com isso. E também gostaria de pedir por gentileza deixar eu responder nos meus comentários, porque quando mando mensagem respondendo algo para debater com alguém elas estão desaparecendo, não sei se é algum bug do youtube, se a resposta vai só para a pessoa ou se é moderação. Obrigado!

@inteligenciamilgrau 3 ай бұрын

Faaaaala Felipe!! Sugestão anotada!! Pensa o seguinte, se vc já tem um caso que está tentando automatizar, vc precisar testar a sua automação e ver se o modelo atende! É algo que será validado por tarefa!! As "ferramentas" que a LLM usa não são modelos de IA, são aplicações normais! Então a qualidade do agente está na qualidade do modelo!! Eu tenho aplicações rodando em diversos modelos, desde "haiku" para geração de texto barato e outras com "sonnet 3.5" e "gpt4"... O caso "útil" varia com quem usa!! Esse exemplo que eu dou dos diálogos foi um caso que fiz para gerar meu Fine Tunning, ou seja, foi um caso real! Por isso que é mais importante vc testar por si e ver se nos teus casos de uso vão servir!! E no caso da moderação, são bem poucos comentários pegos pelos filtros, não tinha nenhum seu! Em geral quando quero garantir que o comentário foi eu verifico se apareceu!! É um ponto fraco do KZbin esses comentários que somem!

@ElaraArale 3 ай бұрын

E o melhor o combo LM studio e silly tavern, tem como usar o crew AI, n8n, nodeRED, e simplesmente outras aplicações com API, simplesmente magnifico.

@inteligenciamilgrau 3 ай бұрын

Uma dúvida, no Silly Tavern vc consegue fazer um rpg estilo Zelda? Ou ele faz só as personagens? Tem algum lugar que dá pra fazer um Zelda com LLM?

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau Silly tavern é um front-end de aplicações em I.A llm, como o proprio chat gpt, no site, que tem o chat e historico de conversas, é texto basicamente.

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau Mas é focado em usar esse front end para personagens, como o characterAI mas bem melhor, por não ter restrições ou censura, tipo conversar com personagens de ficção ou criar seu próprio personagem

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau E tem sites onde as pessoas criam seus personagens, ou instrução pra jogos via texto, com i.a, Complexo demais, como uma automação mas pra entretenimento, basicamente, eu diria que é tão complexo quanto fazer uma automação.

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau Sobre o zelda, e llm, tem sim, tem como conectar o RPG maker, com api, do char gpt, e criar um jogo assim, facil até tem tutoriais no youtube, e tem sites onde tem jogos que já são assim como você quer, o que você teria que fazer é ter a API da sua llm, pra conectar o jogo, e assim rodar com a llm.

@fschincariol 3 ай бұрын

Cria um vídeo treinando o llama 3.1 localmente e salvando o modelo localmente!!!

@inteligenciamilgrau 3 ай бұрын

Faaaaala Fabiano!! Anotando a sugestão!! Valeuuuuuuuuuuu

@ElaraArale 3 ай бұрын

8B é bem mais forte que isso, os modelos ficam ruins quando a quantização é maior (para roleplay, para outras funções mais básicas são perfeitos também), eu uso modelos 8B para roleplay, e te falo com garantia, que são extremamente bons (tudo em inglês, obvio, já que não é multilíngue o 3.0, não sei se o 3.1 é)

@inteligenciamilgrau 3 ай бұрын

Modelo 8B é fraco! Fica menos fraco quando é inglês! São prolixos e imprecisos! Dá para usar em RPG porque é um jogo, mas se for algo mais sério já é mais difícil!!

@Hotboy-q7n 3 ай бұрын

Oq seria roleplay?

@ElaraArale 3 ай бұрын

@@Hotboy-q7n Essa uma boa pergunta! Basicamente a LLM, ou a I.A, ela interpreta um personagem, por exemplo, "uma personagem, de anime heroina" e então a i.a responderia você como essa personagem, e você conversaria com ela assim, criando cenários, ou conversando apenas, como um RPG de texto, mas com possibilidades infinitas.

@ElaraArale 3 ай бұрын

@@Hotboy-q7n O melhor que tem, vários "cards" que a comunidade cria que são instruções de personagens, pra I.A personificar, desde jogos de rpg, a personagens em geral, como personagens famosos, e a i.a interpreta esses personagens.

@ElaraArale 3 ай бұрын

@@Hotboy-q7n basicamente roleplay é encenação, como um RPG de mesa.

@felipev11 2 ай бұрын

Pesquisei muito e não entendi muito bem essa compatibilidade da api da open ai com o ollama, achei que só funcionaria com api key e que dava acesso ao chat, mas essa api serve só pra autocomplete em cima do modelo local que estamos usando no ollama?

@inteligenciamilgrau 2 ай бұрын

Faaala Felipe!! Pensa que o pessoa do Ollama olhou o código da OpenAI e fez o código dele funcionar no mesmo padrão! As bibliotecas das API são bem simples, elas essencialmente enviam uma mensagem para um servidor e aguardam a resposta, por isso é bem simples de adaptar!! Valeuuuuuuu

@felipev11 2 ай бұрын

@@inteligenciamilgrau entendii, mas nesse envio a api não coleta seus dados?

@inteligenciamilgrau 2 ай бұрын

@@felipev11 se você não quiser usar via api da OpenAI, é só fazer via http request usando post que vai funcionar igual!

@ElaraArale 3 ай бұрын

Pera.....crew A.I tem telemetria? 😒, ainda bem que não usarei mais, prefiro muito mais minhas automações com n8n e nodeRED em servidor SEM TELEMETRIA, do que ficar recorrendo aos meus dados pra terceiros.....(se eu realmente precisar da crew AI, eu desligo a telemetria, mas só o fato de ter, pra mim é RED flag)

@inteligenciamilgrau 3 ай бұрын

Eu já tinha lido na documentação que tinha, mas aí decidi fazer o teste na prática para ver o que acontecia! rsrs QUando rodei o Ollama só fazendo chat, foi de boa! Na CrewAI deu erro!! Acho que no mínimo ele deveria logar e enviar os dados depois se é pra fazer uma boa telemetria!! Mas nem isso! rsrs Mas eu não concordo em boicotar porque ele fez telemetria! rsrs Acho bobagem, seu navegador, google, youtube, se bobear até n8n e nodered, todo mundo em algum momento vai pegar dados nossos! A diferença é que na crewai vc foi informado e tem a opção de desligar! rsrs Nos outros vc nem sabe e quando fica sabendo só aceita! Ainda mais se vc usa windows! rsrs Plugou na internet está sendo rastreado! E tudo que vc usa que é dos EUA, seus dados vão para o governo americano conforme o Mark Zuckerberg informou pra gente naquele comparecimento à corte! Nossos dados são do mundo! rsrs

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau Não, definitiva meu youtube, google e afins não tem, fiz questão de minimizar a telemetria para quase zero, em tudo que eu uso, servidor para aplicações, navegador com bloqueador de trackers e afins...... e algo tão vital quanto telemetria de automação é um não bem forte.

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau Uso linux depois daquela horrenda aplicação do windows, 11, e afins, o mínimo pra não dar dados pras big techs, simples assim, nada além do necessário.

@inteligenciamilgrau 3 ай бұрын

A questão é entender que não há sigilo, só ilusão! Pode bloquear tudo, está na web, é do povo!

@ElaraArale 3 ай бұрын

@@inteligenciamilgrau veja (se quiser) o video "Is it impossible to be private online?" Eric Murphy