Qual a melhor configuração para um PC para rodar IAs?

[@jaguarnet7]

Estava aguardando esse vídeo.

[@TradeQuantitativo]

Fantastico

[@edsonsilva2661]

Boa noite pessoal tudo bem ? Estou com uma dúvida em um setup. Se usar um kit Xeon 2860v4 (14/28), com 20 Gb ddr4 2400Mhz, placa mãe x99, fonte zeus da ryse de 650w, ssd kingston de 960Gb e uma placa de vídeo 3060 de 12Gb, funcionaria perfeitamente ?

[@aadagostino1]

eu estava em dúvida na rx580 16gb que está mil reais. com essa que vc falou a rtx 3050 6gb.. porém estou com medo da incompatibilidade, não sei se o rocm é compatível com todos os modelos de ia.. alguém sabe me dizer se tem boas ou más experiencias, modelos que usou, ou algo assim no caso da rx 580 mesmo se for menos ram tipo 8gb ou 4gb?

[@vagnerbelfort]

top! vocês tem duas placas de video, o modelo utiliza as vrams em conjunto? ou cada modelo vai em uma placa de video?

[@AsimovAcademy]

Se estiver utilizando um modelo muito grande (Llama 3.1 70B), ele irá se distribuir nas duas placas, mas uma arquitetura como esta pois é possível também subir diversos modelos em paralelo e construir projetos que se beneficiem disto. As opção são imensas!

[@vagnerbelfort]

@@AsimovAcademy top! obrigado irei testar aqui.

[@adailtoncdocarmo]

Ola tudo bem ? Estou acompanhando os seus vídeos mas eu queria fazer parte da academia! Tem um projeto em especifico que eu gostaria se saber como fazer dentro do portfólio de vcs e eu queria conversar com alguma pessoa para saber qual trilha eu tenho que comprar que me ensine isso. Pode me ajudar indicando alguma pessoa que eu posso conversar sobre as trilhas de vcs ?

[@AsimovAcademy]

Oi, Adailton, tudo bem? Claro. Você pode entrar em nosso site asimov.academy e chamar algum representante pelo Whatsapp! Abraços!

[@Douglasmoreiranunes]

pra solução mais cara manda umas 8 H100 80 GB rsrs

[@DaniloLima-lm2rs]

Olá, boa tarde, tudo bem com você? Uma Pergunta, no mercado acha GTX1080Ti por volta de 1000 reais, e é uma Nvidia de 11gb de ram, seria uma boa? Dei uma olhada também e tem algumas RTX2060 de 12gb que também acha por volta desse valor

[@leofelix87]

Fala amigo , as RTX possuem a tecnologia para IA , as GTX não . Então como ele falou , melhor começar com aula 3050

[@DaniloLima-lm2rs]

Perfeito, peguei uma RTX 3060 12gb ​@@leofelix87

[@Douglasmoreiranunes]

pra rodar o Llama 405B a FP16 ? uns 900 GB ? uns 1000 GB de VRAM pra ficar legal ?

[@AsimovAcademy]

Oi, Douglas. A regra de bolso é: Número de parâmetros x 2 = GBs de VRAM (em F16). Para Q8, multiplica por 1, para Q4 por 0.5. Abraços!

[@deyvidhblack]

Tem como conectar com o whatsapp?

[@frrabelo]

Mano, você sabe me dizer se é possível criar um servidor de Ai Local, com uma placa mãe mineradora (O processador é um Celeron 1037U de 180Ghz com 16 de RAM e 8 slots PCIExpress X1) dessas que vendem no mercado livre?

[@AsimovAcademy]

@@frrabelo hmmm não sei te precisar exatamente o impacto de se utilizar um slot x1 terá sobre a performance da placa quando comparado com o x16…mas acredito ser possível sim, pois o x1 reduzira o tempo de carregamento dos modelos na placa, mas nao os cálculos que sao feitos nela em si (que é o que importa mais)

[@frrabelo]

@@AsimovAcademy Blz! éh! o jeito vai ser testar mesmo pra ver se vai funcionar. Eu ainda não comprei, vou pesquisar mais a respeito. Obrigado por responder.👍