Ejecuta LLAMA 2 en Google Colab (Código incluido)🔥El tutorial DEFINITIVO

[@CERO6]

Me ha gustado mucho el vídeo🔥

[@paulodmanace4812]

Hola otro muy buen video. Como podria ejecutarlo localmente con ollama con esos parametros, calculo que usando docker en windows.

[@alexFocus8]

Muchas gracias por el comentario! Con docker es una opción, lo importante es tener una GPU con suficiente memoria.

[@marcoantoniovillanuevajaur5082]

hola, eres genial. Quisiera usarlo para un chat de ayuda para niños que sufren de bullying. cómo estructuro la data y cómo lo entreno?

[@RafaVeraDataEng]

genial! Muchas gracias por compartir. ¿Cómo podría ejecutar todo este proceso en in IDE como visual studio code? supongo que los requerimientos para el procesado serán altos verdad? ¿crees que podría adaptar tu código a realización de queries en NLP contra mi postgres?

[@alexFocus8]

Si, para poder ejecutarlo necesitarías una GPU con al menos 8 Gb de RAM y recomendado unos 12 Gb, tienes algunas de NVIDIA como la 3080. También instalar CUDA, pytorch y algunas librerías más. Lar graficas son caras y montarlo todo es un poco complejo, pero si que se puede hacer, y lo de usarlo para generar queries es muy buena idea, de hecho hay proyectos open source para esto mismo, te animo a intentarlo y si te tira bien en colab montarlo en un IDE e integrarlo.

[@ivanjoelrovner4073]

Es posible consumir esta ejecuccion de llama 2 desde collab como una api? Es decir para integrarlo en otros sistemas. Gracias

[@alexFocus8]

Desde colab no, porque se reinicia. Tendrias que tirar de google cloud o similares y son de pago

[@jodter1]

ya, pero como lo hago de en codigo, en un editor de codigo si hacerlo en google es facil, pero como lo ejecuto en mi pc usando codigo en mi ide?

[@alexFocus8]

Suelo usar Colab para ahorrar problemas de instalación, si queres ejecutar código en tu propio equipo, necesitas configurar un entorno de desarrollo. Puedes utilizar herramientas como Jupyter Notebook, Anaconda, o simplemente un IDE como PyCharm o Visual Studio Code. Aquí tienes algunos pasos generales para comenzar: Instala Python: Asegúrate de tener Python instalado en tu computadora. Puedes descargarlo desde python.org. Instala un entorno virtual: Es una buena práctica crear un entorno virtual para tu proyecto. Puedes hacerlo con virtualenv o conda. Instala las bibliotecas necesarias: Usa pip o conda para instalar las bibliotecas de inteligencia artificial y ciencia de datos que necesitas, como TensorFlow, PyTorch, pandas, scikit-learn, etc. Escribe tu código: Utiliza tu editor de código preferido (como PyCharm, VS Code, etc.) para escribir tu código en un archivo Python (.py) o en un notebook Jupyter (.ipynb). Ejecuta tu código: Una vez que hayas escrito tu código, puedes ejecutarlo desde tu IDE o desde la línea de comandos, dependiendo de cómo hayas configurado tu entorno.

[@oriolpi1268]

Hola Alex, gracias por el código, Como se podría pasar un texto largo como prompt ? Al estar limitado a 256 tokens no lo puedo hacer.

[@alexFocus8]

De nada :D pues para eso hace falta usar modelos más grandes y por lo tanto más memoria, podrías usar google colab pro o otras soluciones como databricks, pero para esos tamaños tiene que ser de pago.

[@blackguitarluz]

ese colab es de uso libre ? puedo hacer una copia del colab y adaptarlo?

[@alexFocus8]

Claro! Puedes bajartelo y usarlo para lo que quieras 👍

[@cristianmorilla8631]

Hola como estas? muchas gracias por tu video, te hago una consulta modifique el max_tokens y en n_batch pero mi total_tokens sigue siendo 512, me llama mucho la atencion que me limite, tengo idea y modifique bastante el codigo pero al tener una propt de 500 elementos al respuesta del modelo solo es de 12 tokens no me sirve. Si sabes la respuesta te lo agradeceria un saliudo!

[@alexFocus8]

Muchas gracias por el comentario Cristian, pues es raro, he hecho pruebas de hasta 2048 tokens y me ha fincionado. El parametro clave para modificarlo es el max_tokens que comentas, puede que el problema sea la memoria de la GPU.

[@cristianmorilla8631]

@@alexFocus8 Muchas gracias, es muy raro pq estoy usando una a100, pero bueno no se que pasa. Esperare alguna otra version mas nueva, realice pruuebas con 512 elementos y me sorprender la variabilidad de las respuestas. Ya hice una api con chatgpt y queria una alternativa free pero muy variable las repuestas incluso con una tempratura muy baja, pero bueno la verdad muchas gracias excelte contenido, un abrazo grande!

[@sebastiansabogal897]

Si tengo un set de datos en una base de datos podría enseñarle a como sacar informes por ejemplo

[@alexFocus8]

Podrias probar a crear un prompt en el que le pases los datos acompañado de una pequeña descripción de lo que esperas que devuelva, y con unos cuantos ejemplos hacer el fine tunning. De todas formas investigaré si se puede hacer de otra forma 👍👍

[@quesofundido9270]

Buen vido! Muchas gracias. ¿Sabrías cómo hacer para tener un chat de varias preguntas relacionadas? Para recibir respuestas y luego preguntar sobre las mismas. Saludos

[@alexFocus8]

Muchas gracias! El truco es guardar la conversación y pasársela como contexto, con la librería Langchain es facil de montar.

[@Crup-ip2sz]

Como puedo alimentar informacion, ejemplo la constitución de un determinado pais

[@alexFocus8]

Con un modelo tipo RAG, puedes usar llama index por ejemplo

[@Ghost_god325]

Buen video

[@alexFocus8]

Muchas gracias!!