Instalar Llama 2 IA en PC | Instalar chat GPT en local, LM Studio mejor programa para modelos LLAMA

[@tutorialessos]

Pagina del programa LM Studio: lmstudio.ai/ Modelos recomendados Recomiendo que busquen este habla bien el español pero esta censurado : MythoMax L2 13B GUANACO sin censura : huggingface.co/TheBloke/Guanaco-13B-Uncensored-GGUF Pagina donde puedes encontrar varios modelos: huggingface.co/TheBloke ▼SI, TE HA AYUDADO, APOYA AL CANAL CON UNA DONACIÓN▼: - www.paypal.me/BuenasPracticas/1 - Si eres de Perú YAPEANOS: Aqui codigo QR para scanear buenaspracticas-jlp.blogspot.com/p/codigo-qr-jlpintado.html ▼GRACIAS▼

[@eltuneldelmisterio2022]

Este es el mejor tutotial, ya que comienza indicando los requerimientos de la pc, excelente

[@victoraguilardiaz1168]

🎯 Key Takeaways for quick navigation: 00:00 💻 *Consideraciones antes de instalar LM Studio y modelos* - Recomendaciones para la computadora: al menos 16 GB de RAM, procesador Ryzen 5 o similar, tarjeta de video Nvidia para mejor rendimiento. - Espacio en discos duros: es necesario tener suficiente espacio, especialmente en el disco donde se ejecutará el programa y donde se guardarán los modelos. - Descarga e instalación de LM Studio: desde la página oficial, descarga el programa, ábrelo y sigue los pasos para la instalación. 02:02 📥 *Descarga e instalación de modelos de inteligencia artificial* - Elección del modelo: se recomienda un modelo como Guanaco de 13 billones de parámetros, pero se proporciona un enlace para explorar otros modelos. - Descarga del modelo: el proceso de descarga e instalación del modelo Guanaco se realiza desde la interfaz de LM Studio. - Consideraciones al elegir modelos: se menciona la importancia de la compatibilidad y la capacidad de la computadora para manejar modelos más pesados. 04:06 🗣️ *Inicio de la sección de chat y configuración* - Carga del modelo: cómo cargar el modelo descargado en la sección de chat de LM Studio. - Uso del chat: se muestra cómo interactuar con el modelo para generar respuestas en español. - Ajustes para aumentar contexto: la configuración para incrementar el contexto del modelo, permitiendo respuestas más extensas. 05:53 🧹 *Gestión del caché y eliminación de conversaciones* - Peso de las respuestas: se destaca que las respuestas generadas pueden ocupar varios megabytes o incluso gigabytes. - Eliminación de conversaciones: cómo borrar las conversaciones y liberar espacio en el caché del disco. - Consideraciones sobre espacio en disco: la importancia de tener suficiente espacio en el disco C y el disco donde se instala el programa y modelos. 06:36 ⚙️ *Optimización con tarjeta de video Nvidia* - Aceleración con GPU: cómo activar la aceleración con la tarjeta de video Nvidia para mejorar el rendimiento. - Configuración adicional: ajustes para mejorar la velocidad de procesamiento al utilizar la tarjeta de video. - Experiencia personal: el presentador comparte su experiencia y cómo la optimización puede hacer que la IA responda de manera similar a GPT-3, pero con algunas consideraciones sobre la potencia de la computadora. 07:28 📚 *Conclusión y agradecimientos* - Resumen final: se recapitulan los puntos clave sobre la instalación, configuración y optimización de LM Studio y modelos. - Canal de tutoriales: el presentador menciona que su canal ofrece tutoriales variados, y agradece a la audiencia por ver el video. Made with HARPA AI

[@dr.ignacioglez.9677]

Me encantó, gracias

[@M4sterAnime]

Hay alguna forma de generar audio a partir de texto con este mismo programa? por cierto buen video me sirvió mucho

[@dangzz606]

Muy buen tutorial. Gracias :)

[@Jesulex82]

MI LIKE BUEN VIDEO Y BIEN EXPLICADO... SOBRE TODO DONDE PODEMOS GUARDAR LOS MODELOS GRACIAS BRO.

[@Jesulex82]

TENGO UNA RAM DE 64 GB UNA RTX 3060 12GB VIRAM FUENTE DE ALIMENTACION 1000W PLACA MADRE GYGABITE GAMING X V2 PROCESADOR RINZEN 7-5700-X ¿ES UN ORDENADOR CLASE MEDIA? DISCOS DUROS M.2

[@InsaurraldetomasJoaquinBertola]

Tengo 12gb de ram, intel i5 6400, y un nvidia gt 610 1gb ddr3 .... Claramente no me funciona ni el mas simple o por un problema de driver o capacidad ¿Estoy en lo correcto? Pensaba comprar 8gb de ram mas pero que dicen ustedes? Tarjeta de video tambien?

[@tutorialessos]

Hola, es la capacidad de tu tarjeta, la mayoria de estos "programas IA" piden como minimo una RTX, y al menos unos 8gb en la tarjeta de video

[@gonzalo9135]

como podria, por ejemplo con este porgrama subir varias leyes libros y demas (trabajo en abogacia) y preguntarle por ejemplo que me busque en articulo dice tal cosa o sea de una ley, y luego si puedo comparar con un libro que le subi anteriomente para extraer parrafo, se puede?

[@tutorialessos]

Hola, por ahora NO se puede hacer algo asi, no porque no exista la tecnica, simplemente porque no se ha implementado porque ello requiere mas procesamiento, mas bien mucho procesamiento por hacerlo de forma local, asi que de seguro estaran trabajando en como optimizar ello, pero por el momento con este programa no se puede.

[@GuitarSouDX]

y que otro lenguaje recomiendas amigo ?? llama 2 por ejemplo

[@tutorialessos]

Hola, como mencionas llama 2 y mixtral los recomendados.

[@UstedEstaAqui]

Como van esa noticias de yt?

[@tutorialessos]

Hola ¿no entiendo la consulta?

[@Chile.3001]

500 GB de memoria SSD es suficiente? O recomiendas 1 TB?

[@tutorialessos]

Hola, si vas a usar otros programas IA como stable diffusion local, entrenar loras local, y usas photoshop recomendaria 1 tb de disco SSD para el disco C

[@RonalRomeroVergel]

existira una forma de api para conectarlo a python bro?? no importa si es local o de forma nube

[@tutorialessos]

lamento decir que no lo se.

[@jorgegalan8189]

Hola y permite hacer RAG?

[@GuitarSouDX]

cual crees que sea mejor esta o mistral

[@tutorialessos]

Hola MIXTRAL es mucho mejor en todos los sentidos, desde mejor optimizado a mayor comprensión de las preguntas que se le hace.

[@GuitarSouDX]

@@tutorialessos esto de la IA es algo loco verdad no has pensando hacer un video de las cosas nuevas que se vienen ? como regular las IA y elminacion de paginas como civitai para que las personas no puedan seguir descargando loras y cosas asi, aunque si eso llegara a pasar la gente se abriria grupos de telegram, todo internet esta plagado de IA incluso de modelos falsas jejeje.

[@tutorialessos]

hola, gracias por la recomendación, pero no tengo pensando eso, este canal es de solo tutoriales, subo videos cuando puedo, asi que me centro mas dichos tutoriales.

[@eroscl1]

muy buen video, lo lamentable es que la primera consulta sobre la batalla de rancagua, de la independencia de chile, el modelo guanaco me la contó como una gran victoria independentista, lo que completamente falso ya que los realistas nos volaron el OGT XDDDD

[@eroscl1]

te agrego que luego de su respuesta errada le respondí esto: "no mucho mas, ya que en realidad fue una gran derrota para independentistas, y no una victoria como tu respondiste". Bastó eso y luego el modelo entró en un loop infinito de preguntas y respuestas automáticas sobre el tema de la independencia de Chile. El uso de esta herramienta al parecer no es estable, al menos en mi PC. Saludos!

[@tutorialessos]

Hola, aqui recomiendo usar los modelos que recomienda el programa en su hoja de inicio, varios de ellos tienen mayor rigurosidad / manejan mas contexto , el modelo GUANACO su ventaja es que no esta censurado.

[@matzcontreras]

te anda muy lento para tener una tarjeta nvidia rtx3060, puede que solo este usando su cpu, yo tengo una laptop con 16 de ram y una rtx 2060q y me responde mucho mas rapido, casi instantanea la respuesta, ademas se demora en cargar menos de 3 segundos, aclaro que uso ollama en archlinux, es mejor que lmstudio, tambien dispone de una interfaz web, pero es mejor por consola.

[@tutorialessos]

Hola, ¿pero usas el mismo modelo que uso en el LM? porque tambien depende del peso del modelo, he usado modelos de 5b y me escriben mas rapido, por lo demas tal como muestro en el video uso la configuracion usando la tarjeta.

[@Adriel-q2h]

Que procesador usas?

[@matzcontreras]

@@Adriel-q2h uso una portátil hp Envy 15 ep0001la , un procesador i7-10750H, puede ser por el modelo que ocupe

[@GodWarrior77]

Amigo como se entrenan los modelos?

[@tutorialessos]

Hola, sobre estos modelos no te mentire , NI IDEA

[@Pala_tech_]

Se pueden crear APIs con ese programa?

[@tutorialessos]

Hola, si tu pregunta es crear variantes de chat gpts la respuesta es NO, ahora si tu pregunta es que te ayude a crear codigo para crear el programa, LA RESPUESTA ES SI, ahi puedes usar diferentes lenguajes especializados para codigo

[@Pablo.Dragster]

Hola , disculpa ¿es offline el programa?

[@tutorialessos]

Hola, la respuesta es SI, lo he probado sin ninguna conexion y funciona perfectamente.

[@GuillermoTs]

¿como se limpia el cache?

[@tutorialessos]

Hola, como se menciona en el video, elimina la conversacion porque es ella la que se guarda en el cache.

[@GuillermoTs]

gracias, no estaba seguro@@tutorialessos

[@SosunGenioV.01]

al disco te lo debe liquidar por lo de la escritura y borrado en caché ...

[@Jesulex82]

SE PUEDE HABLAR POR VOZ CON LOS CHATS? O QUE? GUAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA

[@danielperez9362]

no entendi muy bien los requisitos podrias ponerlos aqui para amd o nvdia gracias

[@uiobla]

Cualquier GPU moderna sirve mano aseguratr que tenga buena VRAM no mas

[@RonalRomeroVergel]

jajajaj santandereano 100% mano@@uiobla

[@david-lista6339]

Se puede utilizar para cargar y chatear con documentos locales , alguien sabe cómo hacerlo ?

[@tutorialessos]

Hola, por ahora no tiene esa compatibilidad de subir / leer / entender archivos , aunque los de la app mencionan que trabajan en eso pero en las versiones actuales NO TIENEN ESA FUNCION.

[@joansabotig1097]

Se puede agregar archivos para que busque informacion de esos archivos? y utilizarlos como base de datos.

[@latlov]

Parece que no. En todo caso instalar y probar PrivateGPT

[@LudenAsu]

que tal programa? mejor que chatgpt?

[@tutorialessos]

Hola, la calidad es equiparable a CHATGPT 3.5 pero depende bastante de la potencia de tu pc y por supuesto los modelos que uses.

[@inteligenciafutura]

No sirve para programar, falla horrible

[@inteligenciafutura]

Es demasiado mala, falla en todo

[@tutorialessos]

Hola, es raro porque funciona a la perfeccion, ¿haz verificado si los modelos que estas descargando son compatibles con LM?

[@inteligenciafutura]

@@tutorialessos si y he probado demasiadas opciones y ninguna se le acerca a gpt3

[@tutorialessos]

varios que han probado en local el modelo MIXTRAL 8x7 instruct dicen que ya es el modelo gpt3, lamentablemente aun no lo pruebo de forma local, de forma online si lo he probado aqui : labs.perplexity.ai/ y me parece mucho mejor que el gpt3

[@inteligenciafutura]

@@tutorialessos le acabo de hacer 6 pruebas y fallo en todos los resultados

[@tutorialessos]

lo ¿haz probado de forma online o local?