🚫 NO pagues por ChatGPT: Cómo Usar Ollama para una IA Privada y Gratuita

[@CodingMindsetIO]

Disclaimer: En este video se utiliza la traducción literal del término inglés "billion" a "billones" en español. Es importante señalar que, matemáticamente, esto no es preciso. En inglés, "billion" equivale a mil millones (1,000,000,000), mientras que en español "billón" se refiere a un millón de millones (1,000,000,000,000). Esta traducción literal se ha utilizado solo con fines ilustrativos.

[@JoseIgnacio-th5ze]

estupendo, gran capacidad de comunicación , extensivo y completo, de agraceder

[@aitor451]

Buenísimo! muchas gracias. Ya estaba trabajando con ollama, pero ahora con misty mi macStudio con M2 va como un tiro.

[@eivanmtzleal9547]

Excelente! Gracias por tus videos...! quedo emocionado con la serie de LangChain; un abrazo desde México.

[@CodingMindsetIO]

Muchas gracias! me alegro de que te esté gustando la serie, en breve seguimos! 😀

[@RingOfFaia]

Grandioso, esperando con ganas los siguientes videos, saludos

[@CodingMindsetIO]

Muchas gracias por tu mensaje y por tu apoyo! ☺️

[@josecox13able]

Genial el vídeo! Con ganas de ver los siguientes vídeos de Langchain. Un saludo

[@CodingMindsetIO]

Muchas gracias! Próximamente seguimos con la serie de Langchain! ☺

[@carlos19989]

Muy buen video. Gracias. Una pregunta. Que diferencia hay entre este ollama y el langchain que enseñaste en el otro video. ¿Con ollama se puede incorporar memoria al modelo? Me interesaría personalizar un modelo cargando información crítica que no puede ser puesta online para así tener un LLM para consultas técnicas que se base en la información fuente de dato dada, y que además tenga memoria de lo que hayamos hablado antes. Gracias

[@CodingMindsetIO]

¡Hola! La principal diferencia entre Ollama y LangChain es que Ollama es una tecnología que permite ejecutar modelos de lenguaje grande (LLMs) de manera local, es decir, en tus propios servidores o dispositivos sin depender de servicios en la nube. Esto es útil para mantener el control total sobre los datos y la infraestructura. Por otro lado, LangChain es una biblioteca que facilita la construcción de aplicaciones con LLMs. Ofrece herramientas para integrar modelos de lenguaje con otras APIs y datos, manejar el razonamiento lógico y estructurar conversaciones. LangChain no está limitada a ejecutarse en local y puede ser utilizada tanto en entornos locales como en la nube, dependiendo de cómo se configure el acceso al modelo de lenguaje. En cuanto al tema de memoria para tu caso, te aconsejaría añadir una UI a Ollama tal y como explico en la última parte del vídeo. ¡Espero que esto aclare tus dudas!

[@alberlot]

Muy bueno, no se ve la instalación y la descarga y sabemos q allí es donde suele fallar 😅, genial por el tema de la API

[@CodingMindsetIO]

No debería de dar ningún tipo de problema! Si fuese así puedes escribirme y te ayudo! 🤘🏽

[@ozzy1987mr]

buen video, me gustaria pedirte un curso sobre crew y autogen que aparte de devika considero que tienen un potencial brutal

[@CodingMindsetIO]

Gracias por tu comentario! Ya he grabado un pequeño tutorial sobre CrewAI que saldrá en un canal con el cual empiezo a colaborar. Avisaré por el grupo de Telegram cuando esté disponible! Para mi canal utilizaré LangGraph, para prototipar CrewAI está muy bien, pero LangGraph nos da mucho más ccontrol.

[@Pablo-Ramirez]

Hola muchas pero muchas gracias por tus cursos y videos, son muy didácticos. Estoy trabajando con un concepto de una BD de conocimiento tengo un ejemplo funcionando sin embargo la búsqueda va siempre a OpenAI, lo que quiero ver otro modelo gratuito como GROQ o de forma local, sin embargo no he podido sacar el problema, si tienes algunas recomendaciones o ejemplos donde buscar te lo agradezco, un abrazo y mucho éxito. Por ejemplo con Ollama se podría hacer un sistema RAG?

[@CodingMindsetIO]

Muchas gracias por tu comentario! En el próximo vídeo de la serie de LangChain usaremos modelos en local. Como modelo entiendo que te refieres a Grok de X no? Groq es un servicio de inferencia ultra rápida de modelos de IA. Puedes unirte al grupo de Telegram y si necesitas una mano, el grupo está precisamente para ayudarnos y compartir! Un saludo

[@borjamoskv]

los 20€ que pagas por CHat Gpt4 , son sin duda la mejor inversión que el ser humano puede hacer por el mismo.

[@CodingMindsetIO]

Estoy de acuerdo, siempre y cuando se use de manera intensiva, porque también puedes seguir usando GPT4 y pagar únicamente por uso y seguramente te salga más barato. 😀

[@galvezcristian8308]

¡Hola! Muchas gracias por tu aporte. Una consulta: Si pensamos en la arquitectura que explicaste, si usamos un servidor en una red local para 20 a 120 usuarios, ¿cómo podemos dimensionar la carga de consultas que se hace al servidor?

[@CodingMindsetIO]

Hola! Muy buena pregunta! Primero de todo deberíamos de tener en cuenta las capacidades de la máquina que está corriendo Ollama, ya que puede ser la principal limitación que encontremos. Por otro lado, recientemente Ollama en su ultima actualización permite peticiones concurrentes y se puede ajustar mediante los siguientes variables de entorno: OLLAMA_NUM_PARALLEL y OLLAMA_MAX_LOADED_MODELS Saludos!

[@AlfredoMartinFernandezPeychaux]

Excelenteeeeeeeeeeeeeeeeeeeeee!!!! Ahora falta como conectar el LangChang a este modelo... se puede? espero el video jejejeje

[@CodingMindsetIO]

Muchas gracias por tu comentario! Me alegra saber que te entusiasma el contenido. Definitivamente consideraré hacer un video sobre cómo conectar LangChain a Ollama. Saludos!

[@sebastian3122]

¿Se podría generar un modelo específico para un uso determinado, como un asistente de programación, por ejemplo?

[@CodingMindsetIO]

Hola! se puede perfectamente! por ejemplo el asistente Github Copilot estaba basado en GPT 3.5 y el nuevo Copilot Chat, basado en GPT4. Podriamos perfectamente coger un modelo de código abierto y hacerle fine-tuning para hiper-especializarlo en código, o incluso crear un agente con la habilidad de poder apoyarse en contenido de StackOverFlow y repositorios de Github para dar respuestas menos alucinadas. Saludos!

[@luismendezescobar9049]

hola , ejecute el docker compose como tu lo tienes, pero cuando abro el OI interfaz, no me aparecen los modelos en la lista

[@CodingMindsetIO]

Seguramente sea porque no tengas descargado ningún modelo, desde la propia interfaz gráfica te permite gestionar la descarga de los mismos. Prueba y coméntame a ver si has podido descargar alguno y te aparece en la lista.

[@Alexander-cc7zj]

Tengo curiosidad en algo soy nuevo en este mundo de las IA y he creado una app que consume servicios de Gemini , sin embargo estoy aprendiendo a correr local así como en este video ¿pero hay una forma de levantar una api en la red usando mi computadora para que lleguen las peticiones ahí? (Básicamente tener el servicio corriendo en mi computadora pero poder usar una api mediante Internet que llegue a ella)

[@CodingMindsetIO]

Hola! Para acceder a una aplicación que corre en un PC local desde cualquier lugar, puedes utilizar herramientas como Ngrok. Ngrok te permite crear un túnel seguro desde el internet público a tu aplicación local. Esto es muy útil para probar y demostrar aplicaciones sin necesidad de desplegarlas en un servidor externo. Simplemente ejecutas Ngrok en tu PC, y este te proporciona una dirección URL pública que redirige directamente a tu aplicación local. ¡Es una solución práctica y segura para acceso remoto a aplicaciones en desarrollo! Por cierto, si te interesa seguir discutiendo sobre estas tecnologías y otras relacionadas, te invito a unirte a nuestro grupo de Telegram. Es un espacio donde podrás hacer estas y más preguntas, y además recibir apoyo de la comunidad. ¡Será genial tenerte en el grupo y ayudarnos mutuamente! Aquí te dejo el enlace para que puedas unirte: t.me/coding_mindset

[@AlojamientoCantabriaPuntoNet]

Usas aceleración por gpu ? O solo por CPU ?

[@CodingMindsetIO]

En mi caso, arrancando Ollama de manera nativa en el Mac con chip silicon utiliza la aceleración por GPU gracias al soporte de Ollama con Apple Metal. Ollama también soporta GPUs de Nvidia y AMD. Un saludo!

[@EviLeonhart]

Amigo, con este "Llama" se puede crear una que tenga memoria? Es decir recuerde cual "persona" pláticas, datos ect y que adrmas se pueda poner voz?

[@CodingMindsetIO]

Ollama nos ayuda con la gestión de LLMs en local. Para tu pregunta, necesitas añadirle una interfaz gráfica que te proporcionará lo que buscas. Prueba con Msty, el que enseño al final del vídeo.

[@carlapedrueza3717]

Hola, muy buen video. Mi duda es, con eso se puede crear un agente personalizado para ayudar en la resolución de tareas? Y que además, "recuerde" sobre la misma conversación? Qué tenga capacidad de "memorizar" todo lo que le dices? Digo, mi idea es crear como un asistente personalizado. Es posible con esto? O estoy pidiendo demasiado? haha

[@hwhegevvdv7]

necesito exactamente lo mismo

[@CodingMindsetIO]

Hola! Te recomendaría mi último vídeo: kzbin.info/www/bejne/hJKaiJ1nbN2Mhqcsi=pxAQ-RWtVLOnJmgp Al final del todo explico una herramienta que te podría servir para tal propósito.

[@CodingMindsetIO]

Hola! Te recomendaría mi último vídeo: kzbin.info/www/bejne/hJKaiJ1nbN2Mhqcsi=pxAQ-RWtVLOnJmgp Al final del todo explico una herramienta que te podría servir para tal propósito.

[@johnwolf5562]

Yo no pago, ya es gratis.

[@CodingMindsetIO]

Nada es gratis en OpenAI amigo, tú y tus datos sois el producto. Siempre ha habido opción “gratuita” pero tiene sus limitaciones.

[@johnwolf5562]

@@CodingMindsetIO Bueno, eso si, pero por lo menos somos ceros y unos contribuyendo....igual también ya voy a canjear unos puntos.

[@MrNidnan]

Claro porque ollama es igual que eficaz que chatGpt...

[@CodingMindsetIO]

Ollama no puede ser igual de eficaz que ChatGPT ni ChatGPT igual de eficaz que Ollama, ya que son productos diferentes que hacen cosas diferentes con propósitos diferentes.

[@JOSEGARCIA-ch2jp]

No son billones como en español son "billions" en ingés que equivale a 1000 millones. así 8b son 8000 millones de parámetros, 70b son 70.000 millones y así sucesivamente los billones nuestros son "trillions" en inglés.

[@CodingMindsetIO]

Cierto! Añadí un disclaimer para aclararlo, gracias por la observación.

[@alvaroestebanrodriguezrabi4563]

No es "Olama" sino "O llama", la llama. No seás tan anglo para hablar. ¡hasta está dibujada! jaja

[@CodingMindsetIO]

🤔