LLAMA 3 + Ollama + API

[@DevJulio]

El video mas completo que he visto, gracias. tavlez haga un proyecto pronto y lo voy a grabar

[@davidbu8248]

Gracias espero te sirva

[@alejandrobrun]

Muy buen video. Gracias por compartir tus conocimientos!

[@davidbu8248]

Gracias Alejandro espero te sirva

[@sergioalvaradonunez376]

Hola David, que buen video, gracias por eso. Una consulta, se pueden cargar documentos y que nos responda las cosas de acuerdo a los documentos cargados ya sean pdf, docs o txt? gracias. Saludos.

[@davidbu8248]

Hola Sergio espero andes bien Si claro en esta misma lista hay una playlist con una demo de RAG que se llama RAG + LLAMA 3 (kzbin.info/www/bejne/oqapeYCqltxsps0) Espero te sirva Saludos

[@RKSBusinessServicesLLC]

Hola David, muchas gracias por el contenido. Una pregunta... Sabes si se puede hacer con el SDK de OpenAI que Llama3.1 acceda a Internet? He preguntado algo sencillo, como el tiempo de una ciudad, y ya vi que no se puede... Pero me surgía la duda para saber si al usar el SDK de OpenAI también podía acceder a ese extra que da OpenAI, o sólo actúa como intermedio... Gracias!

[@davidbu8248]

Hola espero estés bien. Respecto a la duda todavía no se puede con el SDK de OpenAI incluir los outputs de Llama3.1. Y si en efecto es un intermediario. Saludos!

[@eldersarmientodev]

Muchas gracias, explicas muy bien

[@davidbu8248]

Gracias Elder espero te sirva

[@alejandrobrun]

Podrás orientar sobre cuales son los req de hard mínimos para correr phi3-mini en un ordenador (sin gpu)?

[@davidbu8248]

Si efectivamente lo ideal sería tener al menos 8Gb de RAM. Sin embargo hay formas de quantizar los modelos en Ollama obteniendo menor precisión pero dando la posibilidad de usar menos recursos, en un próximo video estaré explicando como llevar eestos modelos a niveles comprimidos más bajos sin problemas de RAM

[@alejandrobrun]

@@davidbu8248 genial. Lo espero con mucha expectativa. Gracias nuevamente

[@ajarivas72]

​@@alejandrobrun ¿salió el video?

[@ROKKor-hs8tg]

What system are you running and what is the name of the terminal that accepts copy and paste curl

[@davidbu8248]

Fedora above windows and it was an adapted powershell terminal

[@TheDelineacion]

Y si se quiere lanzar en un server, como se haría en lugar de en localhost????

[@davidbu8248]

Hola espero estes bien en general se puede hacer con estos pasos Deploy con cpu 1. docker pull ollama/ollama 2. docker run -d -v $PWD/ollama:/root/.ollama -p 10134:10134 --name ollama ollama/ollama 3. docker exec -it ollama /bin/bash Deploy con gpu 1. docker pull ollama/ollama 2. Instalar complementos de nvidia y en la máquina 3. docker run -d --gpus=all -v $PWD/ollama:/root/.ollama -p 10134:10134 --name ollama ollama/ollama 4. docker exec -it ollama /bin/bash Seguramente haré un video de esto para que quede más claro

[@TheDelineacion]

@@davidbu8248 Muchas gracias, si haces un video concreto mejor! me suscribo a tu canal para estar pendiente! gracias!