Cómo instalar y configurar LM Studio en Ubuntu Linux para tener tu ChatGPT personal privado

[@ivanovichenco]

Que bien por tus videos. Gracias y felicitaciones desde mi escritorio de Ubuntu 2204. Muchos éxitos en este 2024, que se dupliquen tus suxcriptores. Quiero incursionar en este campo. Tengo que conseguir buen hardware primero. Espero que Dios me provea de una buena GPU para iniciar.

[@familiagf1386]

Hola, antes que nada te quiero dar las gracias por tu última serie de vídeo LLM. He aprendido mucho en ellos

[@LaHoraMaker]

Gracias por compartir el interés. Espero que los próximos videos te gusten también!

[@luistaboada9379]

Muchas gracias por compartir y por tu tiempo!!! tengo la posibilidad de formatear una PC y obtar por windows o Linux. En tu experiencia, en cual S.O. ha corrido mejor? saludos y buena semana.

excelente video. Actualmente GPT en la versión de pago se conecta a internet. Podemos hacer que alguno estos modelos pueda hacer consultas a internet y devolver los resultados yal como lo hace GPT. Tienes un video donde haces un buscador local con IA, pero es un buscador, no parece dar respuestas en base al prompt y a la consulta en internet.

[@LaHoraMaker]

Hola! El buscador que mencionas se conecta a internet usando un metabuscador, se trae las páginas y escribe la respuesta en base a los contenidos. Si quieres algo que pueda navegar a una web concreta, puedes ver el video sobre el servidor IA 100% local. En este video hablo sobre OpenWebUI, una interfaz que integra búsqueda sobre los documentos propios y sitios web también.

[@RestrepoFrank]

Hola, gracias por tan valiosos aportes. has probado con targetas de video un poco antiguas quiero hacer la prueba con una nvidea tesla k80 por su cantidad de memoria ¿que modelo me recomienda que puedan dar un buen rendimiento para texto?

[@LaHoraMaker]

Con esa memoria te recomendaría probar modelos como Solar 10.7B o Mistral Nemo, que van muy bien en general

[@TadeoServin]

LM studio no me muestra los modelos, Qué hago?

[@LIGTH-BIT]

A nivel de consola se podrá utilizar?

[@familiagf1386]

Me interesa la explotación offline de LLM con software libre

[@benben2846]

Merci, je le fais fonctionner sur Linux Mint I5 6400 et 6GO de ram et une GTX 745 ^^ Bon, bientôt un nouvel ordinateur ! 😂! je m'abonne à ton YT 👍

[@hoOrrorshoOw]

que hace con los datos recopilados ??

[@familiagf1386]

Mi sistema es un linux ubuntu 22.04 con 48Gb de RAN, procesador "12 th gen intel core I5 12400F" con 76,8 Gb de ancho de banda. Mi gráfica es una Nvidia GeForce GTX 1070 con 8 Gb de memoria y un ancho de banda de 256 Gb/s

[@LaHoraMaker]

Gracias por compartir los detalles. Lo tendremos en cuenta para próximos videos!

[@marc_gutii]

Hace poco sacaron una CLI propia que ya viene con LM Studio pero se me hace imposible hacerla funcionar en Ubuntu Server, podrías hacer un tutorial? Sería fantástico poder tener un servidor así en un Ubuntu Server y poder usar un equipo dedicado a esto! Gracias

[@danielarmengod4368]

MIl gracias!

[@LaHoraMaker]

Gracias a ti por comentar! Espero que te resulten muy útiles estos vídeos.

[@LineLeo-i3o]

Muito obrigado!

[@JorgeLamaVarela]

Mis equipos andan entre 8 y 16 Gb de RAM, sólo dispongo en uno de ellos de una tarjeta Nvidia (2060 creo recordar). Tengo también un Mac Mini, con procesador M1 y 8 Gb de RAM.

[@LaHoraMaker]

Con la 2060 vas a poder hacer un montón de cosas! De hecho es la tarjeta que equipa el ordenador donde grabo los vídeos :) En cuanto al M1 es parecido a mi portatil y se pueden hacer cosas, aunque por el momento no va del todo fino. Veremos con las últimas novedades que está presentando Apple si le podremos sacar más rendimiento!

[@stuwarpedraza3901]

tengo problemas con la gpu es amd

[@LaHoraMaker]

Hola Stuwar, el soporte para AMD sólo está disponible utilizando los drivers ROCm. Por lo general se require una versión de los drivers superior a la 5.6. Si ves que no te funciona con LM Studio puedes probar también con Text Generation WebUI: github.com/oobabooga/text-generation-webui (Tengo otro video al respecto!)

[@tintoelement7471]

​@@LaHoraMakercompañero, paso a contarle. Tengo una rx6800xt usando lm studio ROCm y me corre 7b 8bit bien a tope con sus 16gb vram. Pero ya con 13b no le hice muchas pruebas, parece que no va muy bien, voy a probar actualizando drivers y luego te cuento. Abrazo

[@zensack7310]

Como algo básico esos modelos deberían ser multi idioma, porque la verdad una IA que no sabe hablar en otro idioma pues deja mucho que desear.

[@LaHoraMaker]

Gracis por el comentario. Los nuevos modelos Gemini que ha presentado Google la semana pasada, sólo van a funcionar en ingles por el momento (apnews.com/article/google-gemini-artificial-intelligence-launch-95d05d02051e75e20b574614ae720b8b). En el resto de modelos, la tónica general suele ser la misma. Se entrena el modelo con un grandisimo corpus en ingles, y luego le añaden unas cantidades mínimas de otros idiomas. A la hora de la verdad, el rendimiento en inglés (y los costes asociados) son siempre mejores que cuando utilizamos otros idiomas. Es posible que surjan nuevos modelos que corrijan esta cuestión, pero de momento todas las empresas que están publicando estos modelos apuntan siempre al inglés como lenguaje prioritario. En próximos videos, espero tratar este tema en mayor detalle.

[@gustavozatorre9556]

Muchas gracias, excelentes video