Rode IAs na sua PRÓPRIA MÁQUINA

Conheça a Trilha Aplicações IA, da Asimov Academy:
asimov.academy/trilha-aplicac...
Neste vídeo explico como instalar o Ollama e Open WebUI para ter acesso a uma interface 100% local e offline para executar LLMs abertas e ter controle total sobre elas.
00:00 Rodando uma IA na sua própria máquina?
01:36 Quais são as configurações mínimas?
02:14 Instalando o Ollama
11:56 Explorando o Open WebUI

[@maic_off]

estudo da microsoft e linkedin divulgado no inicio do mês, com 30 mil profissionais, de 30 países, aponta que 78% dos usuários de IA (que são 75% dos consultados) aderem ao que chamam BYOAI (traga sua própria IA). isso gera assistentes mais adaptados e, somado ao MoE (mistura de experts) é poderoso!

[@E_HOTTA]

Cara parabéns seus conteúdos são extremamente preciosos.

[@OrangeHat21]

Agora sim! Nada como não depender da OpenIA! E o melhor de tudo: Agora podemos criar agentes com CrewAI. Agora podemos treinar nossos próprios modelos. As oportunidades são ilimitadas!

[@chvc]

Tem que ter máquina, senão vai passar raiva I7 atual, 64G RAM e +12G de vídeo

[@lexgameplay8041]

Agora poderei criar minha própria SKYNET e deixar ela dominar o mundo. Hua hua hua. 😈😈😈😈😈😈😈😈🤭🤭🤭🤣🤣🤣🤣🤣😌

[@andreaparecidorodrigues7982]

​​@@chvcnossa é mais pesada que um COD da vida?

[@chvc]

@@andreaparecidorodrigues7982 tem que ter processamento, cara. São muitos dados sendo processados para gerar a resposta.

[@coachvalente]

Qual a diferença do antes pro LLM local em si?

[@LucasLopes-hd1ms]

ansioso pelo próximo vídeo.

[@TheLekao2009]

Pesado demais pra rodar

[@romulosousa8698]

Sensacional. Sou desenvolvedor há 10 anos e isso é muito impressionante :D Estou acompanhando essa série, bom demais o conteúdo!

[@AsimovAcademy]

Muito bom, Romulo. Agradecemos, conte conosco!

[@isaacoolibama9104]

Muito bom !! Já da pra começar a brincar com muitas coisas, claro se tiver uma maquina boa pra isso.

[@GuilhermeOAquino]

Brother muito bom mesmo seu conteúdo... vou usar aqui em Portugal em meu PC.

[@91RickHard]

muito legal... obrigado de verdade... no Book3 360 ficou um pouco devagar mas só por ter isso offline vale super a pena.

[@MrMateuswinter]

Top D+!! Ansioso pelo próximo vídeo já.

[@AsimovAcademy]

Muito bom! Fica ligado ;)

[@joaobps76]

Vídeo sensacional. Na expectativa do próximo episódio

[@AsimovAcademy]

Agradecemos, João. Fica de olho ;)

[@Claudiolibe]

Muito interessante

[@Leanst.]

video TOP!

[@phch54]

te amo, thanks

[@ogilbertoalves]

Brabo. Muito bom. Add o CrewAI nessa empreitada. Parabéns pelo conteúdo sempre de alto nível.

[@csprivat]

Sensacional. Segui a risca e já tenho os modelos rodando, localmente, no meu PC (que não é de última geração). Usando o modelo llama3:8b, consegui 78.9 tokens/s. Obrigado pelo conteúdo.

[@AsimovAcademy]

Continue contando conosco!

[@CatsReacts-se8su]

Pode Rodar Tráfego pago, Tranquilo nesse Vídeo isso é o que a maioria das pessoas Querem desde de o Início do Chat GPT. Parabéns por seu trabalho. A didática é o mais importante a simplificação, aumentam a possibilidade e mais pessoas terem sua Ais Domésticas. No Control

[@CleytonTurin]

Excelente material! Parabens!

[@AsimovAcademy]

Agradecemos, Cleyton. Conte conosco!

[@viniciusmartins1281]

Top demais. To animado, vou fazer o projeto junto daqui

[@AsimovAcademy]

Vamos com tudo!!

[@renatoalmeida2870]

Seus vídeos são muito bons! 🚀

[@AsimovAcademy]

Agradecemos, Renato. Conte conosco!

[@UXDesire]

Que incrível parabéns

[@AsimovAcademy]

Agradecemos! Conte conosco.

[@Correa33Marcio]

Incrivel

[@carlosnani]

Excelente vídeo. Eu estava querendo uma opção para não ter que depender da OpenAI e esse vídeo salvou. Ótimo vídeo, muito bem explicado com dicas claras de como realizar cada passo. Só tenho que agradecer.

[@wilketeixeira2391]

É importante não depender da open AI

[@alexbaima1785]

Cara, que conteúdo maravilhoso! Sensacional! Muito obrigado por compartilhar!

[@AsimovAcademy]

Nós que agradecemos, Alex. Continue contando conosco!

[@edersonfccorsatto6783]

Eu uso o LM Studio, dá pra testar vários modelos também, e ele já tem uma interface gráfica própria, e você também poder rodar um servidor próprio local e até criar uma interface com html mais css, para consumir a api local via código, mas pra isso tem que ser desenvolvedor web que é o meu caso, mas sinceramente achei que ficou top com ollama, pra quem não quer perder tempo programando e tal o seu exemplo achei que ficou bem melhor do que com LM Studio.

[@olecram8217]

Nossa ele é desenvolvedor de web kkkk

[@DanielSouza..]

Agora fiquei bastante curioso kk Me parece que assim seria possível criar um agente baseado nas próprias opiniões e modo de pensar, daria para usar isso para aprimorar as próprias ideias sobre vários assuntos 😮

[@AsimovAcademy]

É isso que vou buscar fazer neste projeto! Abraços

[@FrostkRR]

Vídeo muito bom mais uma vez. Estou querendo montar um assistente para ser especialista em normas e procedimentos da minha empresa. Como eu poderia treinar o modelo para que ele ‘leia’ uma série de documentos? Da forma que você mostrou no Ollama, eu só consigo no prompt.

[@guusacchi]

Acho que o que vc deseja seria o desenvolvimento de um sistema de RAG associado a um modelo local para que o Modelo possa responder perguntas com base no contexto recuperado por esse sistema.

[@Correa33Marcio]

Ele é bastante pesado mesmo

[@frrabelo]

Muito bacana! Então esse video é o primeiro da série. Vou continuar acompanhando. Se possível, eu gostaria de ver se é possível criar uma agente Ai que controle determinados softwares para automações e rotinas diárias com simples comandos ou comandos de voz.

[@AsimovAcademy]

Estes serão os próximos vídeos!

[@danilofalcaoa]

Show demais, Parabéns pelo video! Irmão qual programa de gravação de tela você utilizou pra deixar desse jeito no video?

[@neutonlima7484]

Muito bom o conteudo , aprendendo demais , duas perguntas: Consigo organizar os modelos do Ollama Juntos com os modelos que ja estou baixando pelo LMStudio? Para nao ter que baixar modelos nos dois separadamente... Consigo acessar o Open Web UI pelo celular estando na mesma rede Wifi ou cabo que o servidor docker , ollama (não sei qual o lugar do servidor tb kkk) ? Valeu , parabenms mais uma vez !

[@detonadordapolitica]

Há alguns meses atrás tentei fazer, mas era muito difícil! Obrigado por disponibilizar o conteúdo!

[@AsimovAcademy]

Seja bem vindo!

[@paulomauriciooliveiradacun7842]

testei o de 8b tradicional na maquina ficou perfeito e muito rapido, acho que vou testar um modelo maior kk

[@Correa33Marcio]

O meu ficou muito pesado. Meu é 16 gb 3060 i7 12. A maquina é boa mais ficou muito pesado.

[@alexandreg852]

Muito interessante todas essas possibilidades. Entendo as vantagens de rodar o modelo localmente mas em relação a precisão e coerência, utilizar esses modelos localmente não seria muito menos preciso e com menor qualidade se comparado ao ChatGPT ou Copilot por exemplo? Principalmente agora com ChatGPT 4o? Qual a sua visão em relação à isso ? Obrigado por sempre agregar tanto conteúdo de qualidade 👊🏻

[@rszabof]

Muito bom, agora manda um vídeo usando essa llm pra conversar com os dados igual o outro video, tipo python+langchain+ollama, ai vou ser obrigado a virar aluno 😅

[@AsimovAcademy]

Está na lista!

[@wostonbogoz]

😎👍 . VALEU! Agora Sim! Conteúdos Prêmium! . Achei que eu teria que rodar toda a internet decifrando do inglês para o português durante meses, para aprender a criar "CHAT GPT LOCAL" para diversos fins, inclusive usar AGENTES para VARRER a INTERNET para pesquisar para mim, com precisão um certo assunto! . Depois de termina esta série, poderia nos ensinar como podemos criar esses MODELOS, para contribuírmos para a comunidade? . Valeu Mesmo Professor! Me tornei seu fã!

[@AsimovAcademy]

Ficamos felizes por isso! Continue contando conosco. Breve soltamos mais conteúdos.

[@TeuxxDesign]

Eu sempre pensei nisso...

[@HelioCardosoautotrafego]

muito top ,alguem conseguiu respostas rapidas ? quero saber qual computador montar ou comprar

[@faucetcryptos8148]

Ai man da pra usar modelos da huggingface, com esse ollama da meta?

[@Tranka16]

Muito legal. Dúvida: existe limitaçao em relação ao tamanho do SSD ou apenas memoria RAM e placa de video?

[@brenosandro4292]

Incrível! Consegui criar aqui porpem ficou leeeeento q só a peeest kkkkk.

[@AsimovAcademy]

puts! Mas que modelo você tentou baixar?

[@brenosandro4292]

Instruct 8b 4,7gb se n me engano 😔. Baixei tbm a dolphin mas travou kkkk Meu note é um i7 16gb ssd m2 500gb da Samsung. Um Samsung book 2 pro 360

[@AnFr33]

Top!!! Com voz ficaria 1000. To pensando ja em montar uma maquina pra IA, pra rodar modelos mais avançados com uma placa nvidia. Rodar de 70bi e os que vierem

[@coachvalente]

Também to pensando, mas nvidia ta superfaturado, vou das novas gerações da AMD com suporte otimizado pra IA (RCm3)

[@AnFr33]

@@coachvalente Realmente ta caro mesmo uma 3090, 4090 seria ideal...Eu tenho AMD aqui, umas 5700xt 8GB e umas 580 que usava pra minerar ethereum, eu vi um blog, o cara rodando Meta de 70bi com placa de 4GB. Vou montar um setup com algumas placas e testar, quero rodar o 70bi

[@coachvalente]

@@AnFr33 placa de 4gb man? não é meme nao? talvez o cara tenha 128 de ram e um puta de um processador pra empurrar então

[@coachvalente]

@@AnFr33 Acabei de descobrir as placas Intel A770, com specs absurdas e preços maravilhosos. Antes não tinham suportes via software, mas atualizaram e agora já da pra rodar LLM basicamente da mesma forma que com AMd e NVIDIA.

[@AnFr33]

@@coachvalente não sei kkkk achei demais só 4GB rodar isso também...se achar posto o link aqui na resposta

[@antonioemjr]

Qual app vc usa para gravar sua cam e video da tela?

[@kamontecristo]

será que roda em mac pro 2018 i5 quad-core 8gb ram?

[@vitorribas2829]

Alguem sabe me dizer se tem como subir no github esse projeto para utilizar em outros PCS?

[@MrViniciusMachado]

Se não tem acesso nenhum à internet então como vc se comunica com a API do chatGPT? Não tem como rodar a IA sem acesso externo, a menos que vc use sua própria base de dados. Neste caso só conseguirá responder o que vc tem de informação na sua máquina.

[@romeu91]

Vídeo maravilhoso, mas no meu MacBook M3 PRO de 8Gb ficou muito lento. Mesmo usando outras compactações.

[@010592alvaro]

Otimo video!! Uma pergunta: Como eu desisntalo tudo e começo do zero? Eu segui o tutorial e ficou 10, ai depois eu baixei o de 70B para testar e ficou tudo travando..... Eu deletei o conteúdo da pasta blobs e baixei tudo de novo, mas ta estranho agora, os modelos parecem alucinar muito e perdeu desempenho.

[@coachvalente]

Como funcionaria criar os proprios agentes dentro desse ecossistema? No caso, se eu quero especializar a I.A para algo. Seria pelo OpenWebUI diretamente? Ou tenho que treina-lo localmente e exportar?

[@saulotarsobc]

Da pra fazer uma transcrição de vídeo nesse sistema? 😮

[@RCN1BR]

Vídeo fantástico, fiquei bobo de ver na prática. Rodei em um Ryzen 5600G com 32gb de memória. O tempo de processamento até começar a responder leva em torno de 1min e quando inicia, a escrita evolui bem, um pouco mais lento que o ChatGPT faz atualmente.

[@AsimovAcademy]

Continue contando conosco!

[@jhonatandarochaleao6225]

teria como alimenta o modelo com um tipo especifico de assunto ,e eu indo aprendendo com ele, tipo assim coloca varios pdfs de livro de economia de um autor , e ai ele roda ,e responder minhas duvidas ,como se fosse o auto, ou entao me ajuda em programaçao ,mas queria alimenta ele com acesso a intenet ,pra ele me ensina a cria algoritmo genetico deep larning, e computaçao visual, ou ate mesmo aprende novas linguas ,tipo hebraico grego , assim ,teria como?, se sim ,poderia me explica?

[@edsonrodas3954]

Hello man, I'm really interested in take your courses, but I have a doubt, are your courses subtitled in Spanish?

[@MaxJM74]

Qual o hardware mínimo necessário para fazer rodar lhama 3?

[@mtrd1]

Alguém sabe como faz a ativação dos CUDAs da GPU no Llama? Seria muito grato!

[@Dr.Tardelli]

Tentei configurar um Chat específico que ja tenho no chat gpt, mas em cima do chat GPT uncensored e clama 8b. Não consigo respostas. Usando M1 Pro e demorando muuuito, mesmo com 16gb de rum. estranho. Notei que o o Char uncensored tem 44b de tokens, por isso deu pau kkkk

[@jaguarnet7]

Olá, estou gostando a série de vídeos. Você comentou que está rodando em um M1 Pro Max de 32GB. Qual seria o equivalente PC? Quero fazer upgrade da minha máquina (desktop) para trabalhar com esses modelos. Mais um vez parabéns pelos vídeos.

[@AsimovAcademy]

Oi, amigo! Muito obrigado. Infelizmente vou ficar te devendo essa informação com precisão... não sei te precisar qual configuração exata bateria com meu Macbook... mas se você pesquisar na internet sobre "IA Servers", vai perceber que o principal componente são placas de vídeo, especificamente na NVIDIA (acredito que com 8GB de RAM já teria uma performance excelente). Abraços!

[@meditacosmo]

estou usando um MacBook Pro m1 com 8gb de ram, da para rodar ?

[@henriquemacedo6940]

Tenho uma 3060 de 12RAM e gera quase 35 tokens/s

[@marcorodrigues9458]

então, eu testei alguns pelo cmd tbm, tenho 16RAM e I5...achei muito lento, não testei com interface gráfica

[@williamguimaraes9153]

Tem como colocar a documentação da linguagem, do framework e livros digitais nele e personalizar a busca em um material específico?

[@AsimovAcademy]

Oi, William! Tem sim (através do upload dos arquivos na aba de Workspace)... Mas se você procurar em nosso canal, ensino a alimentar modelos de linguagem utilizando RAG também. Abraços!

[@paulhenrysantus]

Man será que e possível rodar ela direto de um HD externo? 🤔

[@ticelsoful]

Olá bom dia. Seria possível criar tipo API para interagir com python e php.

[@AsimovAcademy]

É sim. O Ollama possui um comando chamado "serve" que nos entrega alguns endpoints para trabalharmos com ele como uma API. Acredito que na documentação você encontre mais informações.

[@ticelsoful]

@@AsimovAcademy Muito obrigado pela resposta.

[@user-fu6wq6tr3y]

Rapaz ... eu consigo rodar um modelo em um NUC i7 ?

[@bernardosaullo4843]

Sim

[@brmartinsrj]

Esses modelos analisam PDF's? É possível essa função?

[@AsimovAcademy]

Oi, Bruno! Analisam sim. Seria aquela funcionalidade que mostrei no workspace. Abraços

[@Correa33Marcio]

Rodrigo o mixtral ficou muito pesado, como faz para remover?]

[@AsimovAcademy]

Oi, Marcio! Você pode abrir seu terminal e digital "ollama list" para verificar os modelos instalados. Para remover, basta digitar "ollama rm nome-do-modelo". Abraços!

[@Correa33Marcio]

@@AsimovAcademy obrigado

[@lincolnruteski7158]

qual é e como fazer pra gerar imagens? Tentei no codegemma, mas nao consegui.

[@AsimovAcademy]

Temos um vídeo no canal que ensina o passo a passo, chama-se "Adeus Midjourney". Abraços!

[@tribuzeus]

Tudo di grátis?

[@workworksam]

Ao rodar na sua máquina não cobra token, né?

[@guusacchi]

Não, ollama só vai carregar em memória o modelo open source que vc baixa na sua máquina e daí fazer a inferência (a reposta) por isso não cobra igual usar o gpt.

[@workworksam]

@@guusacchi eu consegui baixar mas ta muito lento, como faz pra acelerar? Tenho Radeon Vega 5

[@douglasoliveira6557]

Não vai rodar bem com placas de vídeo AMD, pois uso usa cuda cores que são predominantes em placas de vídeo Nvidia, o jeito é usar assim ou pegar uma placa de vídeo Nvidia

[@RYYANft]

não funciona

[@juliusprojeto]

Agora é só comprar um M3 PRO MAX e ser feliz !

[@marcuscoelho989]

Mãs….mâs…mãs…

[@douglasmarcelo8582]

esses AIs são muito pesadas, o gasto com a energia paga a mensalidade do chatGPT. as IAs offline são só quebra galho.

[@douglasmarcelo8582]

fico imaginando o fiasco dessas AIs offline com o snapdragon x elite.

[@marciobrito_net]

Para que eu vou querer ficar rodando IAs? Deixa os bichinhos quietos tadinho. judiação.

[@lexgameplay8041]

MAC com windows!!!! Que blasfêmia!!!!!! (Mesmo sendo máquina virtual) 😩😩😩😡😱😱😱😱😱😱😱

[@AsimovAcademy]

🤣

[@mtrd1]

SO mais usado ué, se fizer somente pra MAC é conteúdo pra minoria kkkk

[@gptdodigital2]

Fiz o teste em meu m3 pro 18GB, e acredite, pesou e travou. Não seu o que aconteceu, mais de ollama.server deu 25GB. Ai voltei pra usa o LLM studio. E fluiu, Esse ai não roda em memoria baixa igual a minha ?