Crea tu asistente virtual con ChatGPT (pt 3)

[@charlesblack7989]

Que tal si volvemos al modo offline con Dalai Alpaca y Llama? Instala bles en local y muy fluidos con CPU de 8 cores, sin GPU. he de mirar que tal va con una de 6. Lo han llegado a instalar en una Raspberry...

[@adnuzzolillo]

En vez que sea portatil, el asistente debería tener su propio server para que lo puedas integrar a cualquier dispositivo movil o directamente que se conecte a travez de whatsapp o telegram. Por otra parte, podrías darle mas control de otras utilidades como la de agendar usando LangChain. De momento no tengo mucho conocimiento en python pero intentaré echarle un vistazo al codigo y hacer alguna PR

[@AMPTech]

El tema de ponerlo en un server esta para largo plazo. Ahi si quiero asegurarme que antes de hacerlo tenga todos los protocolos de seguridad en orden para poder hacer algo como acceso por VPN o algo así. También lo de langchain es buena idea, de hecho lo he estado utilizando para algunas cosas, pero no he entrado aun muy a detalle. A ver si esta semana tengo algo de tiempo para darle un rato.

[@MundoTechconJc]

@@AMPTech porque no usas jasper con un asistente de voz

[@AMPTech]

Sería buena idea, al inicio del proyecto intente integrar Riva a la Jetson y como no era compatible creo que descarte gran parte de lo que está en el NGC, pero Jasper podría ser otro buen camino.

[@JesusCendejas-uv1xr]

@@AMPTechyo estoy intentando crear mi backend utilizando websockets, mi idea es usar un esp32 o desde una app para movil conectarme al server, y para conectarme desde cualquier lado, quiero usar directamente cloudfire para crear un tunel (como ngrok solo con un dominio propio). Por otra parte estoy jugando con AutoGen para crear agentes y no solo funciones, quiero poder controlar focos entre otros dispositivos, por lo que estoy en duda si usar Home Assistsant o utilizar MQTT y mi propio software para esto. Saludos !

[@nahup98]

Yo uso pyttsx3 para para el texto a voz, te permite elegir diferentes voces como también su velocidad, muy buen proyecto e interesante!, estaré atento a los próximos videos

[@AMPTech]

Muchas gracias, ya le eche un ojo y parece una buena opción!

[@patopato5627]

Se puede usar con la ia "pi"?

[@nahup98]

Desconozco, no he programado mas sorry @@patopato5627

[@Maisonier]

Like y suscribir. Me puse a buscar esto ya que compré una laptop vieja y enchufe a mi smart TV principal donde esta toda mi familia en la cena. Pero el problema es que cada vez que queremos ver una película o algo hay que recurrir al teclado y la interfaz de Ubuntu no está diseñada para esto. Así que me puse a investigar sobre algún asistente para acelerar todo esto y poder controlar la TV solo con la voz para poner músicas, películas, etc.

[@jltoloza2011]

Saludos.. Lo primero es dejar claro que no tengo idea de como programar ni modificar tu trabajo.. Pero si tengo la idea de proponer esto en un proyecto de innovación.. está super... tienes que generar una app completa... Suba su información, elija su avatar, elija su idioma y a trabajar...

[@dominikanou]

Casualidad de la vida, justo esto quiero hacerle a una camioneta hahaha. Tengo todos los componentes, solo me faltan las impresiones y la programación

[@raulmatos7498]

Eres un Crack. Dios te bendiga

[@astronomiahoy264]

Eres un Genio.

[@AMPTech]

Nah, son años de experiencia. Pero muchas gracias!

[@aurresan_]

Puedes hacer una explicación de como hacerlo en un raspberri pi porfavor? O si no se puede con un ordenador de intel o amd.

[@mariron42]

Podrías correr un LLM pequeño en local para hacer la tokenización y ciertas funciones

[@santosmarte]

hahaha muy bueno, gracias, menos técnico de lo que espere pero hay vamos :3

[@pablepox1841]

Yo lo que hice fue utilizar voice recognition para detectar la palabra ordenador, y cuando la detecte que empezara a grabar, speech recognition no es tan bueno como whisper pero te detecta bien palabras como ordenador, me ha resultado bastante mas util que grabar todo lo que digo

[@miguelalejandroulloaacampo2062]

ve el de nosotros te va gustar y todo es original creado desde cero .

[@luisebaq]

Como hace para que escuche todo el tiempo y que envíe los trozos especificos cortandolos en el momento justo? es decir si le hago una pregunta que me demora 20 segundos decirsela , como sabe hasta donde cortar?

[@AMPTech]

Si quieres echale un ojo al video pasado del asistente virtual, ahi lo menciono. Basicamente uso speech recognition para detectar espacios donde no se esta hablando, para asi poderlo cortar el audio sin cortar una palabra a la mitad.

[@marcelocheves]

Lo que mas me gusta es que es offline, seria espectacular que pudieras implementar una funcion en el asistente que yo le pueda pedir busque en un manual tecnico pdf, doc o excel cierta informacion y el asistente lea y muestre en pantalla los resultados, me gusta tambien la idea de que con las esp32cam el asistente pueda saber donde estas (reconocimieto facial) asi te contesta solo en los altavoces que estan en esa habitacion. Gracias por compartir tus habilidades hermano.

[@AMPTech]

Luego voy a integrar ese tipo de búsqueda que mencionas. Va a ser muy util.

[@marcelocheves]

@@AMPTech gracias hermano eres el mejor.

[@techdeviot]

Excelente avance, estaré pendiente de los siguientes vídeos para seguir aprendiendo, muchas gracias por compartir 👍. Te comento que vengo desarrollando algo semejante pero web y uno de los puntos esenciales es como reducir las respuestas y que sean más especificas 😅. Saludos.

[@sebastiannietor9724]

Cómo podría hacer para darle una personalidad inicial a la api de chatgpt? Por ejemplo decirle que actúe como una consulta de Linux. Pero para no enviarle ese texto en cada consulta, sino que ya tenga esa personalidad desde antes de hacer la consulta

[@AMPTech]

Con finetunning puede modificarlo un poco. Tengo un video sobre como hacerlo. kzbin.info/www/bejne/sHi3h5qXlrWAi5Y

[@MikroTutoriales16]

Hola, ¿el proyecto es OpenSource? tal vez podriamos colaborar... :)

[@AMPTech]

Si es, acabo de poner la liga del repo en la descripción del video. Hoy en la tarde voy a actualizarlo. Justo antes de hacer el push de estos cambios al repo tuve unos problemas con el Sistema operativo de la Jetson AGX :/

[@gabayetma]

Cuándo va a salir el siguiente?

[@edummorenolp]

Ame este proyecto desde el inicio....

[@AMPTech]

Muchas gracias por el comentario! Ahi va, poco a poco agarrando forma

[@hansbel1]

WEEE OCUPO TU AYUDA ISE LO MISMO CON EL MIO pero es un poco avanzado creo que le hace falta disciplina ;u como entreno mi ia?

[@danieldemaria]

Hola es justo lo que ando buscando, cómo poder hacer un asistente que esté al pendiente de sensores de una nave aeronáutica, tipo asistente de iron Man que le dice cuando hay algún daño, baja energía, etc etc ,

[@sgfpv5897]

estaria guay que se pudiera integrar con home assistant, y asi no tener que usar la nube para nada

[@AMPTech]

Es mi tirada a largo plazo. Saludos!

[@thediex25]

Que tal. Buen video. Casualmente estoy haciendo algo similar, y la IA de Google me lanzó tu vídeo por obvias razones. Jajajaja. Hace un tiempo hice algo con asterisk en una llamada telefónica para realizar consultas a una base de datos con dialogflow. Dónde identificaba que producto estaba buscando y lo validaba en la base de datos nacional para hacer consulta de precios sobre el agro. Cómo fue hace un buen tiempo estoy retomando todo nuevamente y veo que con Chatgpt puedo simular los intent que generaba con dialogflow que ya lo volvieron pago. Por lo pronto he realizado validador de documentos, categorización de documentos en carpetas automático, he conectado a internet el asistente, etc con chatgpt y python. Si de algo te puedo aportar, con gusto

[@AMPTech]

Muchas gracias por le oferta Cesar. Suena bastante interesante el proyecto que me cuentas. Con chatgpt y los embeddings de openai puedes hacer muchísimas tareas mas alla de generación de texto. Para algo como clasificación hay modelos mas pequeños que lo pueden hacer muy bien tambien, pero con Chatgpt se pueden agregar funcionalidades interesantes por encima.

[@victorreyesalvarado8329]

Excelente proyecto, muchos éxitos

[@AMPTech]

Muchas gracias Victor!

[@jodter1]

Podrías hablar de la ia de stanford o la de Facebook. Como es eso q funciona sin internet

[@AMPTech]

Si, tengo un par de videos planeados antes, pero sin duda alguna hablare sobre Llama de facebook, ya que es la pieza ideal para seguir manteniendo al asistente corriendo de manera local.

[@jprcdev]

y hacer una interfaz similar a las gafas de vegeta con esp32 camp o una cam directa al raspberry pi y que ayude a procesar algo y enviarle al server o asistente info necesaria para procesar lo que raspberry pi zero mire

[@ArnaldoGarcia865]

Estupenda idea, ojala lo puedas llevar a un nivel como Jarvis usando el chat gpt.

[@AMPTech]

No se pierde nada intentandolo! jaja Saludos!

[@Equinoxio]

exacto, ya hay videos en youtube de como hacer tu propio Jarvis, videos viejos de hace más de 5 años... yo los vi, por eso lo comento... esto sería prácticamente lo mismo solo que con ChatGPT como inteligencia...o sea.

[@ArnaldoGarcia865]

@@Equinoxio Exactamente porque los otros son con comandos muy basicos y ya preescritos en el codigo, en cambio con chat gpt puedes decir o preguntar infinidades de cosas y el bot te responderia, no tendrias que colocar tantas condiciones para cada palabra en especifico.

[@jodter1]

El mío funciona por wathsapp. Recibe mensajes de audio, imágenes (aunque falla aveces), etc

[@hurz00]

Excelente trabajo. Para el audio, text-to-speech podrías usar coquiTTS, me gusta más la voz con ese paquete.

[@AMPTech]

Le voy a echar un ojo, muchas gracias. No se si es porque ya escuche muchisimo la voz del asistente de google (que es la misma de gTTS) pero no me latió nada para este proyecto jajaja

[@edgarmonroy3896]

¿Le puedes poner voz de checo perez ó doña lucha?

[@agnosticoparatodo]

Disculpa. Como está pasando el tiempo y parece que salen cosas nuevas cada día. ¿Crees que saldría rentable cargar Stable Vicuna?. ¿Crees que sacarán Auto Stable Vicuna como hicieron con Auto GPT?. Hay un canal que se llama un loco y su tecnología que trata mucho de temas domóticos que quizá te ayuden a unir esas grandes ideas que tienes sobre cámaras y reconocimiento. En serio, tu proyecto es apasionante.

[@joseheras7899]

Hola amigo, el proyecto puede evolucionar siendo más potente con las interfaces escritas en cpp (c++). Podriamos acercanos a un asistente offline.

[@jprcdev]

a nivel de miniaturizar esto mi idea seria usar un raspberry pi zero levantar el sistema entero en un server remoto y que el raspberry pi mande las peticiones al server el server los procésese y lo devuelva de esta manera podemos tener el servidor principal en un vps (eso creo que haria yo) o en el salon de casa y que tambien sea el asistente

[@marcohenriquez5211]

No se si me perdi en el proyecto pero la idea inicial era hacerlo de manera local y segun entiendo al usar gpt y gtts estas necesitando internet o me equiboco

[@AMPTech]

Hola Marco, Si lo siguiente que estaré probando es Llama para correrlo de manera local. gTTS ese si corre local, pero no me termina de acomodar, asi que se irá. Saludos!

[@marcohenriquez5211]

@@AMPTech y que paso con este proyecto que estaba muy interesante

[@patopato5627]

¿Se puede ponerle voz a el asistente virtual "pi?

[@navolatoorlando]

Que buen proyecto 👍🏼👍🏼

[@jeffmagallanes7385]

Oye me encanta tu contenido, crees que con el FIne Tuning a GPT3 es posible hacer que responda como una persona en especifico? es decir, en los prompt del archivo csv irian las preguntas frecuentes, y en el completion la forma tipica en que esta persona las respondería, y si es posible, hay alguna forma de pasar este modelo con fine tuning a una aplicación o página web para que funcione como un chatbot independiente?

[@AMPTech]

Hola Jeff, si se puede hacer, justo como mencionas, con algunos ejemplos de como respondería esa persona. Obvio habra algunas diferencias de vez en cuando, pero este caso que mencionas es uno bueno para fine tuning. Para desplegarlo a una pagina web, sería mandar a llamar openAI desde un api REST (para no depende de python y hacerlo agnostico a lenguajes de programación)

[@jeffmagallanes7385]

@@AMPTech muchas gracias!

[@valentinasdasas6182]

podrias añadir una alexa que se conecte atravez de una api para el asistente virtual y asi no tener problemas con el audio

[@JorgeLTS1]

Gracias por compartir, recuerdo que antes usaba para leer texto creo que era Helena de IBM puede ser que pueda modificarse.

[@AMPTech]

No había escuchado de Helena, y que tal estaba?

[@tintintino000]

Estaría bien hacer que las respuestas sean lo mas cortas posibles a no ser que se lo especifiques en el prompt. Por ejemplo si le digo a chatgpt "2 mas 2" me ha respondido esto: "2 mas 2 es igual a 4. "Mas" es una palabra en español que significa "más", y "2 más 2" es una expresión matemática que se resuelve sumando 2 y 2 para obtener un total de 4." Lo veo absurdo y molesto si lo tiene que dictar encima con voz de robot 😅

[@AMPTech]

Totalmente de acuerdo! jaja, probablemente con un par de ejemplos en el prom se puedan mitigar algunos de los casos.

[@carlosdantenicolasdelafuen1293]

Gracias 👋👋👋👍

[@lamsiglo2170]

perfecto

[@agnosticoparatodo]

Te tenía perdida la pista desde hace meses. Y no sé porqué, ya que además tengo activa la campana.

[@AMPTech]

En serio? Es que KZbin tiene muchos problemas con eso, la verdad es un tema de la manera en la que todas las redes sociales (tomando YT como una) curan algoritmicamente lo que te enseñan. Lo importante es que diste con mi video. Muchas gracias por el comentario :)

[@agnosticoparatodo]

@@AMPTech Ya te tengo localizado. No te voy a volver a perder y para asegurarme estoy viendo todos los vídeos que puedo de tu canal. Así KZbin me mostrará tus vídeos de sugerencia.

[@leonardoespejo]

Excelente. Pensé usarias Alpaca o LLaMa, para evitar enviar datos a internet.

[@AMPTech]

Es justo lo que voy a hcer despues! Privacidad ante todo es lo que busco con esto

[@CapitanGen]

todo eso llegará muy pronto para que los uses con tus airpods

[@ithanhunt3250]

*HACE UNA VERSION DE ESTE MISMO ASISTENTE PARA WINDOWS DE 32 BITS POR Q NO TODOS USAR UBUNTU O LINUX, YA Q ES AL CONTRARIO LA MAYORIA DE LAS PERSONAS USAN WINDOWS Y Q SEA DE 32 BITS MUY IMPORTANTE PARA Q CORRA EN MAQUINAS ANTIGUAS OSEA SIN LIMITACIONES PARA NADIE*

[@miguelangelmurillo1297]

La api de chat gpt, no te cobra o cuál es su límite?

[@AMPTech]

Si cobran, pero son centavos de dolar. Por lo cual usarlo para solucionar algunas cuantas dudas no me sale ni mas de medio dolar al dia. Aqui esta la lista de sus precios openai.com/pricing Aqui esta un video donde explico un poco como cobran (En el minuto 3:40): kzbin.info/www/bejne/pXPNppWNqtt1hqc

[@miguelangelmurillo1297]

@@AMPTech muchas gracias, una última pregunta está api es para usar únicamente con el modelo 3 ?

[@AMPTech]

Puedes entrar a un waitlist para gpt4, pero en teoría es la misma api cuando lo liberen para todos.

[@pezictusfish]

Quiero armar algo así pero con tortoise para usar mi propia voz y llama/alpaca para que sea local

[@drios200]

Yo integre ChatGPT a walkietalkies, eso resuelve lo de cargar todo hasta cierto punto

[@drios200]

También e pensado en contruir un asistente, solo que me iría por cambiar un poco el comportamiento de ChatGPT, como un diálogo en 3 personas systema , asistente y nosotros usuarios, de esa forma preguntas clave serán solicitadas las acciones a sistema, aunque aún no estoy seguro si lo ideal es usar ChatGPT o usar gpt directo dado a qué chat tiene "la costumbre" de hacer un diálogo entre nosotros y el (solo dos entes)

[@AMPTech]

Totalmente! Creo que para eso algo como embeddings o gpt3 "normal" serviría mejor. Aqui lo hice con ChatGPT para poder tener una primera versión de manera muy rápida. Gracias por el comentario

[@drios200]

@@AMPTech intente por medio de prompt ajustar el comportamiento, cuando le preguntaba sobre la temperatura me regresaba $temp, aunque me hacía una redacción de que tenía que solicitar al sistema mencionaba la variable quizá filtrando la redacción antes de mostrarla o de ponerla en un Audio y regresar el dato podría responder

[@marlonScepedaV]

Se cae el internet adiós, bajas llama pierdes un disco entero y mucha ram... Pd: está cool el proyecto

[@AMPTech]

Hola Marlon, justo después lo que voy a hacer es meterle algún modelo como LLama para que sea 100% local, no por la persistencia del servicio sin internet (que también es un buen punto!) pero un poco mas por temas de privacidad. Saludos!

[@marlonScepedaV]

Pero no es muy pesado llama como para integrarlo con el jetson?

[@AMPTech]

En este caso no, esta jetson tiene 32 GB de ram y Llama con algo de 8GB ya puedes empezar a tener resultados. Lo que quiero corroborar es que tanto tarde en generar las respuestas

[@Equinoxio]

Muy bueno, pero te das cuenta que ya hay video de hace +5 años que hacen lo mismo? estamos usando ChatGPT para cosas demasiado sencillas, te das cuenta?... yo que vos, pensaría cuales son las MEJORES cosas que se pueden alcanzar con ChatGPT y similares... NO las cosa "sencillas"... si no LO MEJOR...!!!

[@AMPTech]

Hola! Si, esta aplicación es muy directa. Hay aplicaciones mucho más elaboradas que podríamos hacer, aunque no creo con ChatGPT, me iria por GPT directo o embeddings. En este caso es para poderle integrar esa pieza conversacional a mi asistente de manera rápida. Saludos

[@EdgMiranda-l3l]

Interesante, pero todo lo que mencionas ya existe

[@lissethtorres2011]

disculpa queria saber si me podrias ayudar con un correo para contactarme contigo queria solventar algunas dudas

[@AMPTech]

Hola Lisseth, claro me puedes escribir a mi twitter @puigalex o a [e-mail]