Cómo instalar y configurar LM Studio en Windows para tener tu ChatGPT personal privado

[@omar_zelsalazar263]

quiero trabajar en automatizaciones en n8n y conocer mas de los modelos de ia, tambien acabo de concoer llm estudio gracias a ti, tengo un ryzen 5 3600tx y una gpu 3070ti. un ssd de 500g y un m.2 de 250g y 16g de ram. phi4 es un modelo muy tentador y estoy viendo tus videos, son una mina de oro

[@crlsmtzprds]

0:13 Wey ¿sin intro? Te amo.

[@franperez2478]

Muchas gracias por todo, buen vídeo

[@didierfernandorubiomelende976]

Excelnete video amigo, tengo una duda com los LLM se puede hacer NPL para generar un comando, ejemplo LN "Generame la factura del cliente X y colocala en la cola de envios", y con esto me genere el comando el cual llamara otra APP? Gracias por todo.

[@LaHoraMaker]

Hola Didier! Hay una opción para generar llamadas a funciones (function calling) que permite crear este tipo de acciones. Ahora bien el LLM sólo te creará el comando. Para ejecutarlo necesitarás llamarlo desde otro framework o comando que permita lanzar programas. Dale un vistazo a OpenInterpreter: github.com/KillianLucas/open-interpreter

[@didierfernandorubiomelende976]

Muchas gracias amigo, excelente videos son de mucha ayuda.

[@Jesus-Xnick]

Hola, lo he instalado en un Intel(R) Xeon(R) CPU E5-1630 v3 @ 3.70GHz 3.70 GHz con 32Gb y cuando he tocado la aceleración y los hilos me ha ido peor que cuando lo instalé. Aunque lo baje ya me sigue funcionando peor. Gracias por tu trabajo Crack.

[@Jesus-Xnick]

la Gpu es ATI RADEON RX580 8Gb y tengo W10

[@LaHoraMaker]

El soporte acelerado para AMD no está tan fino con los drivers ROCm como para NVidia. Si el modelo era de tamaño moderado, lo mismo ha tenido que partirlo entre la RAM y la VRAM añadiendo latencia al tener que combinar ambos resultados. Si averiguas cómo conseguir el mejor rendimiento, igual ayuda a otra gente también!

[@canaljoseg0172]

Si tu Avx no es Avx2 debe bajar la versión anterior LM Studio.

[@omar_zelsalazar263]

menciona que no se puede licrar, pero si se puede usar las apis que genera? para proyectos en el servidor local?

[@wroonninggamarro5434]

me daba error con 16de RAM y procesador i7 de 4ta generación y tarjeta de video envidia cuadro k620

[@SergioGarcia-mb4xn]

Estoy revisando tus vídeos... Aún no me queda claro que programa es mejor, lm estudio o gpt4all. Me dedico a la enseñanza y me gusta realizar artículos, estoy tratando de utilizar mis propios materiales, pero no sé cuál de estos sistemas es mejor y o. O mejorarlo con el tiempo

[@SergioGarcia-mb4xn]

Me gustaría poder ir vectorizando mis documentos para la redacción de mis artículos

[@LaHoraMaker]

LM Studio es más fácil de utilizar, pero no ofrece de forma nativa la consulta de los propios materiales. Se puede pasar la información propia en la consulta manualmente pero no es muy práctico. GPT4All si ofrece esta funcionalidad, a través de LocalDocs, pero es un poco menos fácil de usar y su desarrollo es menos activo (soporta menos modelos de serie). Hay una extensión para LM Studio que te permite consultar tus propios documentos, pero todavía no la he podido probar. Por si quieres darle un vistazo: github.com/BBC-Esq/ChromaDB-Plugin-for-LM-Studio

[@SergioGarcia-mb4xn]

Te agradezco la referencia, pero aunque soy un poco maker, no domino la informática. Soy capaz de entrar en el terminal y ejecutar un scrip o modificar algo de código si me dicen qué y dónde. Pero la verdad es que no veo implementando extensiones si no veo un tutorial y yo repito como un mono. Mi objetivo es poder tener mi biblioteca digital accesible para la búsqueda de información y la consulta rápida para la investigación. Si tienes un rato te agradecería que testases esa extensión y nos gravases un video. He disfrutado mucho viendo videos tuyos. Un saludo. Sergio@@LaHoraMaker

[@illosala]

Este tema de trabajar con documentos locales es esencial para las ONG. Gracias por la ayuda.

[@alekon8349]

Buenas, he probado ciertos modelos pero algunos no trabajan con mi tarjeta de video basica de 2gb, tengo una laptop de16gb de ram, i5 de octava generacion que modelo me recomiendas para un uso bascio como preguntarle dudas de programacion, o enviarle mi codigo para que vea detalles etc

[@LaHoraMaker]

¿Qué modelo de tarjeta es? Con esta configuración de RAM intuyo que puede ser una GTX 1050 o 970. Muchas de las optimizaciones para los modelos de lenguaje solo funcionan con las últimas versiones de tarjetas RTX. Por otra parte, con 2 GB de RAM posiblemente solo podrás ejecutar modelos de 1B o 2B de parámetros. Una opción para mejorar el rendimiento de las respuestas será ofrecer al modelo de lenguaje información específica para que pueda buscarla, ya que el modelo base dará unas respuestas regulares. Para ello te recomiendo que veas el video sobre GPT4All para ver cómo configurar este tipo de soluciones RAG para buscar sobre conjuntos de datos propios conocidos

[@alekon8349]

@LaHoraMaker es mx130 😔, gracias probaré tu recomendación

[@manuelesparcia7777]

Empezaré hacer mis pequeños pinitos con un Macbook Pro M4 con 10 núcleos de GPU y 10 de CPU y con 24 GB RAM y 512 GB de disco SSD, aunque tengo varios discos externos de 1 y 2 T. con USB TIPO c. Espero que con este equipo tenga suficiente para hacer algunas cosillas interesantes y curiosas

[@LaHoraMaker]

Seguro que si! Dale un ojo al último video donde explico la gama M4 y lo que se puede hacer con las distitnas configuraciones de RAM: kzbin.infonOMympDjEMs

[@YaritzaGarciaOlivera-dc1yr]

Hola , me da un error , descargue phi 3.5 y al iniciar la conversación me responde bien pero al mandarle un segundo mensaje me responde con muchos ceros o cuadros, a qué se debe ?

[@framcapa2308]

Existe la manera de que la gpu use la memoria del sistema? O todo lo que no cargue en la gráfica se ocupa de ello esl cpu? Saludos!

[@Isñ-97]

Excelente, lo único es q no se ve bien pero nos vamos guiando y como se le cambia el idioma a español a lm estudios xf ?

[@LaHoraMaker]

De momento creo que sólo está la interfaz en inglés, aunque creo que se están organizando en el discord de LM Studio para producir versiones traducidas de la interfaz.

[@SalomónVelazquez-e5z]

Estimado amigo, vi todos tus videos y ojalá me puedas apoyar ya que tengo una duda que no me queda aún clara, tengo 16gb en ram y una 3060 con 12 vram disco duro sin problemas de almacenamiento, sin embargo al querer cargar un modelo de 30gb aprox me da error, aumentando la ram de mi equipo a 32gb me ayudará a que funcione en paralelo con la vram de mi gpu? Ya que encontrar gpu con más vram me es complicado (muy costoso)

[@SalomónVelazquez-e5z]

Se que será lento por el cuello de botella de mi cpu pero hay posibilidad de ejecutar modelos grandes con ese equipo de partida? Gracias por tu atención

[@LaHoraMaker]

@@SalomónVelazquez-e5z muchas gracas por la pregunta. Me alegro que te estén gustando estos vídeos. En cuanto al equipo, efectivamente si quieres cargar un modelo de 30 Gb, vas a necesitar esa capacidad de memoria distribuida entre la GPU y la RAM normal. En mi equipo principal tengo una RTX2060 con 12 Gb y 64 Gb de RAM. Con esto puedo cargar modelos más grandes repartiendo la carga (aunque si es muy grande, es bastante lento). Ahora bien, por mi experiencia, suele ser más interesante buscar un modelo cuantizado con menos bits y hacer que el modelo funcione un poco más rápido. En el propio buscador de LM Studio puedes encontrar variantes Q4 y Q3, con menor uso de memoria.

[@SalomónVelazquez-e5z]

@@LaHoraMaker te agradezco muchísimo por aclarar mi duda, eres un grande! Te deseo mucho éxito

[@rafaelgardner8954]

Que modelos son sin censura y sin restricciones?

[@Guille13]

Se puede alimentar con información propia, tipo gpt personalizado?

[@LaHoraMaker]

Hay extensiones para añadir una base de datos vectorial e incorporar información propia a LM Studio pero todavía no la he probado: github.com/BBC-Esq/VectorDB-Plugin-for-LM-Studio

[@Guille13]

@@LaHoraMaker muchas gracias, estaré pendiente por si lo pruebas en un futuro, yo intentaré hacerlo a ver q me sale...

[@canaljoseg0172]

😁 Este fin de semana lo corro en mi maquina con GPU de 8Gb una 16 Gb de Ram.

[@LaHoraMaker]

Genial, ya nos contarás que tal el resultado!

[@canaljoseg0172]

Tengo una maquina de 5 Generacion con Procesador i5 avx1 16Gb ram y 8Gb Gtx, Al principio no me ejecutaba el modelo porque no era compatible AVX2, después de investigar, solo tenia que bajarme la versión enterio LM Studio y funciono correctamente, muy rápido a 1000 en la GPU, pero más o menos al uso del procesador, haciendo que caliente el procesado, Seguramente debo configurar algo para que no esté todo el tiempo usando CPU, aunque no pregunte nada.

[@canaljoseg0172]

Descubri con 35 tokens me trabaja bien la aplicación y no exige nada procesador.

[@canaljoseg0172]

Ya probado con prompts que los youtube colocan de ejemplo para comparar resultados con chatgpt, es bastante similar, lo unico es que se va quedando corto (Debe ser por la falta de tokens). Pero aún así es bueno. A final lo tengo en 800 tokens.

[@AlojamientoCantabriaPuntoNet]

Los nuevos procesadores intel que tal se comportan ?

[@jaimemunoz3025]

hola, instale lm studio en un nitro 5 i5 9 generacion, nvidia 1650 corre a 6 t/s

[@LaHoraMaker]

Gracias Jaime por compartir tu configuración y experiencia!

[@JuanHerrera-zq3xw]

Disculpen, estoy con una RX 7900 XTX, pero cuando entro en la aplicación y activo la aceleración por GPU y recargo el modelo sigue usando de forma exclusiva la CPU. No importa el valor que coloque en los layers. No sé si sea un tema de Drivers, instalé los típicos para jugar con Adrenaline

[@LaHoraMaker]

Hola Juan, el driver necesario para acelerar el rendimiento en AMD se llama ROCm. El caso es que he estado leyendo y no se si está totalmente soportado en Windows: www.reddit.com/r/Amd/comments/18i8bja/windows_support_has_finally_been_enabled_in_rocm/ Por otra parte, este es el tutorial más completo que encontré sobre como hacerlo funcionar compilando desde el código fuente (para llama.cpp que es lo que usa por debajo LM Studio para cargar el modelo de lenguaje): www.reddit.com/r/LocalLLaMA/comments/16d1hi0/guide_build_llamacpp_on_windows_with_amd_gpus_and/

[@JackXavierXD]

yo descargo el LM Studio y no abre la interfaz, termina la descarga crea el acceso directo pero al abrirlo no pasa nada

[@LaHoraMaker]

Prueba a descargar una de las nuevas versiones beta para Windows. A ver si con ellas consigues resolver el problema

[@intelp4ht]

Hola, hay alguna herramienta asi que sea libre? Para usar en el trabajo

[@LaHoraMaker]

Exactamente igual que esta, hasta donde se, no. Ollama y Text Generation Webui si que pueden utilizarse comercialmente sin problema (aunque Ollama no está disponible para Windows).

[@TheAncientOld]

@@LaHoraMaker creo que existe una forma de instalar aplicaciones linux en windows si no me falla la memoria, saludos.

[@Isñ-97]

Alguna gratis q pueda cargar archivos excel y modificarlos a mi gusto ?

[@Elmidolo]

Hola, cómo haces para correrlo en una máquina virtual?

[@LaHoraMaker]

Hola Gustavo, ¿te refieres a una máquina local o a una equipo remoto en un VPS?

[@roypalaciosdeluna.1124]

Yo también tengo esa duda, se puede correr en >VM VirtualBox!?

[@lucasvicente-f1j]

hola que tal, me sale un mensaje que dice no lm Runtime found for model format gguf, como podria arreglar eso?

[@JKARL261]

A mi también y no le encuentro solución

[@Alejandro-md1ek]

Se puede ejecutar en una 3050

[@ELUNIVERSODEJDC]

*seria bueno añadieran la capacidad de generar imagen también como la ia de bing*

[@LaHoraMaker]

Ahora mismo están enfocados en añadir capacidades de visión, para intepretar lo que aparece en las imágenes. Si quieres una aplicación local para crear imagenes sencilla te recomendaría Fooocus: github.com/lllyasviel/Fooocus

[@royotech]

Increíble Amigo increible.. ayúdame al usar con una API en local. Y le haces llamados desde otros computadores. Quiero hacer un sistema gratuito para los colegios y que sea un apoyo docente fine tuneado según el colegio y sus intereses... ¿que te parece?

[@LaHoraMaker]

¡Creo que te gustará el último video que publiqué ayer que precisamente es sobre APIs! En breve nos ponemos con los RAG y los fine-tunes de la forma más sencilla posible.

[@royotech]

@@LaHoraMaker muchas Gracias 👏🏻👏🏻👏🏻

[@THOMASANDERSON1]

TIENE LA MISMA CAPACIDAD QUE CHAT GPT 4? ES ILIMITADO O HAY QUE ESPERAR DESPUES DE USAR TODOS LOS TOKENS EN GPT 4? SIRVE PARA GENERAR Y CORREGIR LIBROS, CORREGIR ORTOGRAFIA? GENERAR CAPITULOS ILIMITADAMENTE?? CUALES SON SUS RESTRICCIONES? NO VI ESA INFORMACION EN SU VIDEO... HAY QUE PAGAR PARA USARLO?

[@jhoccebriceno1209]

hola hola!!! alguien sabe porque sucede esto cuando intento cargar un modelo? "(Exit code: 1). Unknown error. Try a different model and/or config."

[@Demon_Moster-z1z]

interesante, pero lo malo es que por alguna razon no me busca una ia para poder descargar

[@botellapp]

Si tengo un Intel Core i7-2600K sin AVX2 y una tarjeta grafica NVIDIA Quadro 2000 (p1232), no ira imagino. Un saludo. Gracias.

[@LaHoraMaker]

Una de las versiones Beta de LM Studio que se acaba de publicar recientemente permite específicamente funcionar con equipos sin soporte para AVX. En principio, esto debería funcionar con tu equipo. Tienes el enlace aquí en la parte de abajo: lmstudio.ai/beta-releases.html Eso si, no creo que corra demasiado :(

[@botellapp]

@@LaHoraMaker Nada he intentado correrla cambie la tarjeta grafica GEFORCE RTX 2060 12 GB y no va LM STUDIO. Todos los runtimes funcionan AVX2

[@gerardorenegarzadeleon2192]

Cómo puedo hacer para que leea PDF ?

[@alejandroruiz9545]

Como cargar una colección de documentos PDF?

[@luismigliorero3905]

yo no lo pude hacer funcionar, me pone que mi procesador es incompatible, que lastima

[@JohnnyJazz-bj5lw]

como hago para que LM Studio trabaje con llama3, Codellama, etc. que ya tenia descargado? Windows 11 Modello sistema ROG Strix G713PI_G713PI Processore AMD Ryzen 9 7945HX with Radeon Graphics, 2501 Mhz, 16 core, 32 processori logici Scheda video NVIDIA GeForce RTX 4070 Laptop GPU Produttore scheda di base ASUSTeK COMPUTER INC. Prodotto scheda di base G713PI Memoria fisica installata (RAM) 32,0 GB

[@netpala]

Cuando puedo usar LM Studio para crear un asistente y conectarlo con un ChatBot

[@LaHoraMaker]

El propio LM Studio sirve los modelos desde la pestaña de Chats. Ahí puedes conversar con distintos modelos que se pueden instalar desde el menú de búsqueda.

[@netpala]

@@LaHoraMaker si está bien pero lo que le pregunta sr es que si se puede hacer peticiones get y post o sea llamadas APIs

[@LaHoraMaker]

@@netpalaOh si, puedes utilizar el propio LM Studio como servidor. Debajo de la opción de buscar está la opción server que levanta un endpoint compatible con el endpoint de OpenAI de chat. A partir de ahí podrías hacer las llamadas externamente.

[@edgargarcia7503]

Estoy trabajando en Windows con 16 Ram ryzen 3600 y rtx 4060 Ti

[@LaHoraMaker]

Gracias Edgar por compartir tu configuración. ¿Es la 4060ti de 16 Gb?Tiene muy buena pinta.

[@Kaesarfdez]

Este sí que está instalado en Windows (W11 | AMD Ryzen 5 2600 | 32GB RAM | HD SATA | RTX 3060 12GB)

[@LaHoraMaker]

Gracias por compartir la configuración. Con ese equipo vas a poder probar muchas cosas de las que veamos!

[@Kaesarfdez]

@@LaHoraMaker sí esa es la intención. A ver si me instalo ahora el Stable Diffusion para la parte gráfica.

[@carpe10em]

@@Kaesarfdez SD on tu config corre muy bien. Tengo los mismo componentes

[@rgbesmedia]

Probando con i9 14900k, 64GBRAM Nvidia RTX4080

[@LaHoraMaker]

Gracias por compartir tu configuración! Tiene muy buena pinta

[@rgbesmedia]

Me ha corrido con buena velocidad. Las respuestas, excelentes! Lo que no he logrado es conectarme desde el celular.

[@HelberthCampos-j5q]

en una steam deck con windows

[@LaHoraMaker]

Gracias por compartir tu configuración! Seguro que a otra gente que la tenga, le resulta muy útil saber que funciona

[@javix2013]

Buen tutorial aunque me faltaran ver mas pruebas, empezar a preguntarle de todo ese GPT por ej, un resumen de quien es Trump por ej, el origen de los dinoasuarios para ver que tan eficiente es.

[@thatguybun]

Con AMD no funciona. gg.

[@LaHoraMaker]

El soporte de los drivers de AMD es menor que el de NVidia ahora mismo :(

[@thatguybun]

crucemos los dedos, estuve hablando con los devs por email @@LaHoraMaker

[@Jesulex82]

Oye porque no haces un video para poner un modelo con voz o algo asi ? IMAGIA QUE TU HERMANO FUERA CIEGO..IMAGINA QUE SI QUE EL PUEDE Y TIENE SUS COSILLAS PARA MANEJARSE... PERO PORQUE NADIE A PENSADO ¿Y SI UNA PERSONA INVIDENTE QUIERE JUGAR AL ROL? ES UN PUTO DRAGON PLATEADO..... REPRESENTA LA PUREZA. TE RECOMIENDO UN EJERCICIO... DURANTE UNA HORA AL DIA... CIERRA LOS OJOS... Y QUIZAS TE HAGAS UNA IDEA.

[@a3ZZo]

Muy buen vídeo. Gracias!!