Testing out OLLAMA - Your own ChatGPT locally! [ENGLISH SUBTITLES]

Today we test out Ollama, we talk about different things that we can do with and we check out how easy is it to run your own ChatGPT with Docker.
Files I use:
github.com/pablokbs/peladoner...
ollama.ai/
--
Repo con todos los archivos que uso: github.com/pablokbs/peladonerd
Merchandising Pelado Nerd: merch.peladonerd.com
Micrófono: Rode VideoMicro + Zoom H1N
Cámara: Sony A7 Mark III
Lente: Sony 28-70mm 3.5
Laptop: Macbook Pro 16'' 2019
Puedes encontrar todos mis links en peladonerd.com

[@PeladoNerd]

Pequeño detalle, dependiendo el modelo también se le puede hablar en español! Yo lo hice en inglés mas que nada por costumbre, pero prueben en español que funciona 👍

[@jhonnathanaraujo7146]

Interesante

[@tonym5857]

Excelente video bro..

[@JhonnyPrz]

Justo lo iba a preguntar jaja excelente 👍

[@klapcincuenta]

y pa kubernetes? puedo meter esto en kube>?

[@thisisnotfuei]

a mi me funcionó perfectamente hablandole en español, me entendio todo 👌

[@pablogonzalezrobles4429]

Aquí los likes para una segunda parte haciendo fine tunning del modelo

[@Jimy_JL]

Necesitooo

[@Juan12101999]

Wow Pelado, estaba investigando justo ayer como montar OLLAMA, este vídeo me va a venir genial! Vaya crack

Excelente! ya jugando con el chiche. Gracias por mostrar lo importante: qué hace, cómo lo instalo, cómo lo uso, cómo lo pruebo. Lo que realmente valoro de tus contenidos es que ayuda a pensar en cómo acercarme a las tecnologías: por dónde comenzar, qué buscar, cómo conectar con otras tecnologías que hay (ej aquí con docker) y disparar ideas para investigar y armar cosas. Y lo que más me gusta de todo: lenguaje sencillo y directo. Eso lo hace tan accesible y motiva a querer probarlo y aprender más para construir cosas. Gracias nuevamente por compartir y ser generoso con tus conocimientos!

Grande Pelado... algo nuevo para jugar en el homelab... genial los conocimientos que brindas

[@1307jmedina]

Wao Pelado , realmente gracias ya estoy aprendiendo mas acerca de ollama, alternativas y posibles usos

[@kannder83]

excelente aporte!! estaba buscando algo así con su propia API, muchas gracias!

[@francoc4094]

Fantástico pelado, gracias por acercar estos recursos!!

[@ivackerdev]

Que buen video Pelado, creo que esta linea de contenido seguira creciendo, gracias por compartir ;) Podrias sacarte una segunda parte revisar el fine-tuning

[@guisantesconjamon]

Muchísimas gracias, no conocía el proyecto. Genial el vídeo. Los pelaos dominarán el mundo sí o sí

[@peralser]

Excelente tu video y tu explicación. Muchas Gracias.

[@chrismarks7495]

Gran video, muy interesante 🤔. Sigue así crack.

[@normaruizservin6754]

Buenísimo, muchas gracias ❤ Lo voy a instalar en Debian que me encanta.

[@guillermogaleanofernandez5497]

¡Gracias pelado! ¡Súper bueno el vídeo y el contenido! ❤❤❤❤✨✨✨👏👏👏🇵🇾🇵🇾

[@maximotejedapozo9335]

Muy bueno, lo instalaré para jugar un poco

[@simonmoyajimenez2045]

Hola Pelao.. felicitaciones! Genial el poder lograr re entrenar un modelo de estos con nuestra propia biblioteca de documentos. Sobre todo para evitar que esta información sea enviada a modelos de compañías como Microsoft o Google que podrían usar la información que se les comparte para el reentrenamiento de sus modelos. Súper si esto fuese lograble de una manera tan sencilla como lo expusiste acá.

[@maxigorski]

pregunte esto mas arriba, tenes algún link como para entrenar el modelo, así con mi propia biblioteca. Te agradecería

[@titinladen]

como lograste entrenar el modelo con tus propios documentos?

[@emanuelgomez8266]

Tremendo video!

[@juanpabloaddeo4197]

Tremendo esto Pablo! A analizarlo y hacer PoCs!!!!

[@erickbirbe8666]

Muy valioso este video!

[@CosasCotidianas]

Gracias pela querido, muchísimas gracias.

[@HumbertoMesa]

Buenisimo pelado ... gracias como siempre. 🇺🇾 Pd. 1 buena la data de usarlo en Spanish directo Pd. 2 Ojota con Luggi que tiene la mala costumbre de manotear cosas

[@Sheyk871]

Hermoso la sencillez, pero revienta la PC, se necesita mucho computo, y eso que utilizaste llama2, pero no la opción de 70B, que pesa 39 GB....

[@a5ad0r]

Genio Peladoooo

[@luisemiliomorenoduran3288]

Se ve impresionante!, espero la version de Windows para poderlo usar con GPU, excelente contenido

[@tecomAGS]

excelente video, cuando quieres varios modelos, requieres varios volumenes?

[@maximosanchez3646]

buen video pelado! una pregunta out of context, que marca son tus remeras? saludos

[@franzseeds]

Excelente video, gracias pelado por compartir lo ultimo de la tecnologia con la comunidad. Pregunta: Tienes pensado presentar EMACS en el futuro del canal?

[@emerson.dvlmt.g]

Gracias por este video. Se podrán entrenar o se usan ya como vienen?

[@trucosfreak]

bknnnnnnnn gracias pelaoooo!

[@user-xh8pr7sy1i]

Estaría interesantísimo si se puede hacer un ModelFile que por ejemplo lea los archivos de codigo de un proyecto. Para hacer como un mentor de código !

[@inteligenciafutura]

Lo probé y ollama es potente

[@rcastrovexler2]

Muy buen video

[@gaston.gaitan]

No man que te paso estas re flaco, felicitaciones por el update de facha

[@mitterduarte4303]

Excelente 100 %

[@EduardoCardosoMartin]

!!!Excelente video, una consulta se podria montar ese docker y correr el servicio en Openshift?

[@Clovhis]

Hoy montamos Ollama en Kubernetes (AKS) con una compañera de trabajo. Y levantó bien, pudimos hacer preguntas a travez de Json (Port-Forward mediante) porque no tiene UI. Deberías hacerte un video de como montarlo en K8s y como ponerle una interfaz allí tambien.

[@quantumwavves]

Buen video. Estaría bueno complementar con los consumos de wattage al usar ollama, he estado investigando y no he encontrado alguien que lo haya hecho y sacado costos para tenerlo 24/7 😢

[@tekoreimante]

Excelente video pelado! Sabes si se le puede alimentar con informacion para que te ayude? quiero darle la documentacion de algunos frameworks que uso y me de consejos para usarlos mejor

[@FSH2]

Lo que he visto que se utiliza, por ejemplo en aplicaciones para preguntarle a documentos, es que tú guardas toda la información de la documentación en una base de datos por vectores, haces tu consulta a la base de datos, por ejemplo una pregunta relacionada con la p de JavaScript, le devuelves todos esos vectores que te dio la base de datos a tu modelo y le dices "oye, de acuerdo a la siguiente información responde a la pregunta del usuario", le pasas toda la información que obtuviste de la base de datos y te debería de responder conforme a lo que estaba en la base de datos función ma

[@RafaelJoseGarciaSuarez]

Gracias por compartir amigo, una consulta se necesita de una GPU para hacer la inferencia?

[@esmos2010]

que buen vídeo, podrías hacer un vídeo de migraciones de sistemas que ya están muriendo como proxmox o algo parecido

[@roipaz8671]

Acabas de convertirte en mi nuevo dios...

[@fredyorozco162]

Recomiendo revisrar langchain y base de datos vectoriales

[@Cuerviteru]

jajajaja no mms pelado si nintendo ve esto te va a caer la ley, excelente video gracias pelado

[@MrLucho277]

me mata el final de tus videos!

[@davbaster]

Me gustó bastante, será que se puede entrenar con nuestros datos ?

[@GermAndroidE]

Es muy interesante, podrías explicar como podríamos crear una interfaz personalizada para usar Ollama? Enos años 90 había una IA que sintetizaba voz en español, tenía un rostro humano que reaccionaba emocionalmente a los contextos, una interfaz retro futurista muy atractiva y recordaba nuestras conversaciones... todo pesaba sólo 720K y se cargaba desde un Floppy en Amiga 500 (1MB de Ram 7,4MHZ CPU) Se llamaba "Alan uno" por si quieres ejecutarlo en un emulador de Amiga Me gustaría aprender a hacer algo parecido con la potencia de Llama

[@rubensalmontrianza5537]

esto ya se hizo en el canal de twitch de eldpit!!!!

[@rinconfede]

Buen video ! No me quedo claro el tema del consumo de ram... que pasaria si tengo una pc que tiene 8 de ram, y simultaneamente tengo abierto cosas pesadas como el android studio, postman, 2 procesos simultaneos, y el buscaminas... Como reaccionaria la pc?

[@EmmanuelValdezvbs]

Exelente video!! Donde encuentro documentación o la forma de entrenar estos modelos para personalizarlos aun más?

[@danielomontero]

Eso sería muy util realmente.

[@alexds9176]

Like y reply para ver si @PeladoNerd hace caso a este comentario.

[@JhonnyPrz]

@PeladoNerd

[@rodrialcazar77]

queremos entrenar (no Gym :) sino la AI

[@bramdonmurillo3757]

Que crack, será que esta explosión de LLM impacta mucho el área de SRE? Además de chatbots? 🤔

[@brunoe6604]

Buenas! Primer video tuyo que veo. Me interesé por Ollama. Queria saber si puedo usar Ollama para mi propio negocio. Soy desarrollador, y tengo conocimiento tecnico en programación. Quería saber si puedo entrenar a Ollama con el conocimiento de mi negocio, y así ofrecerlo como parte de mis servicios web (por ejemplo, en un e-commerce). Gracias!

[@xmagcx1]

excelente contenido junto con los sad servers

[@JhonnyPrz]

Y estos modelos custom se pueden usar también en el chatbot-ollama? O aún no hay soporte para eso, al menos el custom que cree no me aparece en la lista de la interfaz visual, solo los modelos que instale.

[@OlvisQuintana]

Mi bro, una consulta, como podemos modificar el reponse de esa api que levanta ollama ? o es uno predeterminado como tal ?

[@lorddesert]

Gracias pelado! Por cierto una pregunta, se podria correr un juego en un docker? xD

[@garyjo3229]

Gracias, muy util, puedo montar UN Modelo de estos para hacer analitica de una Empresa? No hay fuga de datos como saberlo? Y ya hay otro mas potente?

[@dantepatetta5396]

Pelado, excelente video! Tengo la duda de cuál es el grado de seguridad si uso Ollama para trabajar con mis archivos confidenciales. Es Ollama apto para hacer uso de mi propia AI con informacion confidencial y que dicha informacion solo forme parte de mi historial y no que la suba a la nube de la AI?? Gracias

[@hypemusic8015]

Buenisimo tu video, consegui hacerlo funcionar y ahora si quisiera añadirle un certificado ssl, que lineas tengo que añadir al .yml?

[@RickyBana]

buenisimo el video! Podrias explicar como integrarlo con mi propia data? para que le pueda dar mis apuntes por ejemplo, la IA internalice toda esa info, y me provea las respuesta pero desde mi data cuando le realice una pregunta. Gracias y aguanten los pelados!

[@MarianoClavero]

Pelado, te tiro un desafío: Hacete un video de como montar un clúster kubernetes en 2 o mas raspberry y que corran modelos ollama.

[@davidpratr]

Se podría correr la misma demo con docker o K8s en una GPU? Se supone que es lo que hace OpenAI en su backend, no?

[@RigorVzla]

me parecio buenisimo, es posible desde windows levantarlo en virtualbox?? para usarlo con ubuntu? , mi pc es de 16gb de ram y un pentiun gold 4.1, necesito una GPU de la nasa para correrlo???

[@MG-bm5oj]

Como va llama para preguntas serias sobre programación, librerías etc?

[@juanchotecoachea]

Dale es gracioso el chiste de los átomos.

[@glennluque]

Pregunta, cómo se puede tunear o reajustar el modelo hacia algo específico?

[@dr.ignacioglez.9677]

Se puede configurar para que use la GPU de NVIDIA, o solo funciona con la CPU??

[@leodario9041]

Hay alguna forma de hacer que las instrucciones queden en un color distinto al de las respuestas? ( o usando los codigos de color de bash por ejemplo?) Saludos!

[@royotech]

Hola, ¿como hacer fine tuning a Mixtral 7B? Y usar en Olama?

[@jorge_pb8482]

Como siempre el final xD

[@AlphariusOmegonREAL]

Esa IA se podría conectar con stable Diffusion, para automatizar la generación de imágenes?

[@RagnaLockerAdmin]

Hola me gusto tu video, tengo una pregunta entonces haci como haces en el video, que el modelo simula ser mario puede ser cualquier personaje?

[@PeladoNerd]

Si claro, lo que quieras

[@tomtanque]

Aparte de la RAM hace falta una potente tarjeta gráfica y que pcu mínimo necesita ?

[@jhonnielgarcia6876]

Hola discula puede que suene tonto preguntar pero estas apis tienene restriciones o politicas ejemplo chatgpt tiene algunos temeas los cuales no lo habla de manera habierta oh en temas de seguridad tiene restricciones como la de generar script o malware etc

[@leodario9041]

no es necesario ejecutar el comando "ollama serve" para que funcione? y como hiciste para que te responda con emojis? Saludos!

[@MatiasFedericoWolters]

Que gran video, una consulta: alguien me puede decir que extension es el Modelfile? por favor

[@hvardrino]

Buenas, mi servidor corre con ZimaOs, por lo que no puedo correr el comando para descargar los modelos, cómo los puedo descargar se manera manual para despus guardarlo en el directorio al que pertenecen?

[@MrFacundoruiz]

Excelente!

[@TheFreeRangeTester]

Por algún motivo leí todo lo que decía Mario con la voz de Snoop Dog.

[@jonatanalvarez9968]

Se le puede conctar con una DB de un sistema X, por ejemplo CRM y que me diga quienes fueron los ultimos 10 clientes o qué cliente es el que mas gastó? O con una base de un Back Office y que me diga cuántas facturas de proveedores se me vencen este mes?

[@christianvillarreal9986]

Estaria genial que intentes realizar un asistente virtual al estilo de el de la película why him, que es un asistente que hace bromas se ríe y es sarcástica y mal sonante

[@pabloandrescaceresserrano263]

O sea, es lo mismo que LM Studio?

[@pericote77]

pregunta como se lleva con la etica por que por ejemplo a chatGPT el de openAI hay cosas que le pregunto y por etica no me las puede responder !!!!

[@albertgutierrez886]

Buen video 👏👏 Tengo una duda. ¿Los modelos solamente funcionan si el input está en inglés?

[@ericalvarezbaltierr]

nel, ya lo dijeron

[@albertgutierrez886]

@@ericalvarezbaltierr justo el mensaje de abajo lo pone el 🤦🏻‍♂️

[@asdasdxasd899]

la gran pregunta, tiene su propia api?

[@encoren1]

"Tengo el cooler bastante liviano". Sin comentarios

[@SoloBSD]

Los modelos también hablan español Pelade!

[@betomendez2446]

Gracias por el contenido, esta muy bueno!! Mi consulta sería, se puede usar con otro idioma, me refiero, español o portugués? O caso contrario, solo con ingles?

[@PeladoNerd]

Deberias buscar un modelo en español

[@ricardoruizdiaz7218]

@@PeladoNerd hay modelo en español?, si no se puede pasar por algún traductor en el terminal ?

[@jms2182]

Hay en español pero el rendimiento siempre va a ser muchisimo mayor en ingles

[@ricardoruizdiaz7218]

@@jms2182 me acabo de dar cuanta traspira mi CPU ....

[@sealandland3959]

se puede para servidores Linux?

[@KATalyzt_]

8:00 Buena pelado, felicidades, le generaste una crisis existencial a la IA de Mario, pobrecito (?

[@RodrigoIAQuintana]

tengo un error Error response from daemon: error while creating mount source path con el docker compose que proporcionaste :( pero ya instale tambien Ollama en una MAC Help Sensei

[@soldarencasa9039]

yo baje un modelo el instalador bajo pero luego a la hora de descargar me aparecio peticion invalida cored dumper o algo asi no se a q se deve,bueno tengo un dinosaurio de 4 g i procesador 1.5

[@techniciandepartment4088]

tiene API requets? necesito hacer peticiones para un proyecto

[@enlinea777]

Muy pero muy buen contenido, ahora por que no en español si los modelos son bilingües? Por lo demas muy bueno ya implementado en mi server y con los webhooks de meta ya tengo mi chat boot para Whatsapp

[@adrianocorvo1979]

Este modelo off line tem alguma restrição de políticas. pois trabalho com nicho adulto e tenho muita dificuldade para trabalhar.

[@davgonsan]

hola, podrias hacer un cursito de Podman?

[@user-yz6jp1qg8z]

qu eno era que se podía usar la gpu?

[@folkloreven]

No se puede poner en español?

[@renatopizarro4501]

excelente, este tambien esta censurado como chatgpt ?

[@rubenrodenascebrian3855]

tienes no censurados !

[@piratnet1]

En docker se siente que no corre al 100%, se demora bastante. Mi pc: Procesador 12th Gen Intel(R) Core(TM) i7-12700KF, 3610 Mhz, 12 procesadores principales, 20 procesadores lógicos Memoria física instalada (RAM) 64,0 GB Placa de video GTX 3080

[@Jimy_JL]

Porque ese mistral solo pesa 4GB? Veo en su pág oficial que pesa mas de 20GB