Manos a la obra - Chatea con tus documentos de forma 100% local y privada usando GPT4ALL

Рет қаралды 18,939

Күн бұрын

En este video os voy a guiar paso a paso para configurar el sistema GPT4ALL que permite realizar consultas desde un LLM tipo GPT a tus propios documentos almacenados en el equipo de forma local.

Пікірлер: 91

@MMAMMA-ds6ln 3 ай бұрын

Hola. Recién conozco tu canal. Me gusta mucho tu estilo (que eres tranquilo, que no gritas, que no haces bromas estúpidas, etc.). Muchas cosas no entiendo porque recién ahora me está interesando esto de las IA. Me dan ganas de ver un video tras de otro. Abrazo grande y mil gracias por el contenido. Saludos desde Buenos Aires.

@LaHoraMaker 3 ай бұрын

Muchas gracias por tu comentario! Me alegra mucho que te resulte interesante y útil. Espero que disfrutes con otros videos en el canal.

@Jesulex82 17 күн бұрын

joder tio tiene que ser genial ser tan inteligente como tu... pq para un mierder obrero como yo... que esta estudiando esto es esperanza para luego volverse cenizas garcias campeon..

@JorgeLamaVarela 10 ай бұрын

Pensaba que sería más complicado, pero con tus tutoriales es todo muy fácil ;) Gracias por la info. Me moló el soporte analógico para la explicación, jeje

@LaHoraMaker 10 ай бұрын

De las ocho opciones que he probado esta semana, esta ha resultado ser la más sencilla y compatible multiplataforma. Ahora bien, también es la que ofrece menor flexibilidad en cuanto a los modelos disponibles, las integraciones y la flexibilidad de configuración. Eso sí, es un ¡muy buen primer paso!

@pedroverde1674 8 ай бұрын

Muchas gracias por darte el tiempo de explicar, quedo clarisimo

@LaHoraMaker 7 ай бұрын

Gracias también a ti Pedro por comentar y compartir tu experiencia.

@fernandofaci 9 ай бұрын

Magnífico tutorial. La instalación ha sido sencillísima. La recomendación en relación con el idioma va a ser muy útil. Pienso agrupar carpetas en local no solo por tema, sino por idioma; de este modo podré refinar las preguntas. Muchas gracias.

@LaHoraMaker 8 ай бұрын

Hola Fernando! Gracias por compartir tu experiencia, será interestante para mucha más gente en el canal.

@walterrodriguez2696 10 ай бұрын

Como todos los videos de esta serie es excelente! Seria genial si pudieras hacer un video explicando los conceptos principales de como crear o entrenar un modelo.

@LaHoraMaker 10 ай бұрын

Gracias por la sugerencia Walter, tengo previsto abordar este tema para principios del año que viene, una vez veamos los conceptos de generación de imágenes usando IA generativa.

@gonzalooviedo5435 8 ай бұрын

Que manera extradidactica de explicar, MUCHAS GRACIAS!!!!!

@jribesc 10 ай бұрын

Muchas gracias. Una explicación de 10.

@ngrodri 10 ай бұрын

Muchas gracias por el vídeo, aportando mucho valor como siempre

@aprenderenlinea1330 7 ай бұрын

gracias maestro, lo utilizaré para revisar bibliografías mas rápido para mi tesis

@LaHoraMaker 7 ай бұрын

Gracias por tu comentario. Espero que te resulte muy útil para la revisión bibliográfica. Eso sí, acuérdate de revisar bien las fuentes, que ya sabes que estos sistemas pueden introducir alucinaciones y devolver contenidos que no se adecúan del todo a lo esperado.

@vitaminservice_ 8 ай бұрын

Maravilla de vídeo! Gracias por claridad!

@LaHoraMaker 7 ай бұрын

Gracias por comentar

@RicardoPradovegita21 5 ай бұрын

Lo instalé en mi computadora con Fedora Linux y funcionar sin problemas. Elegí Llama 3 y responde muy bien en español.

@LaHoraMaker 5 ай бұрын

Gracias Ricardo por compartir tu experiencia!

@josemanuelgalvan1893 10 ай бұрын

Muchas Gracias por las explicaciones

@martinreitano5127 8 ай бұрын

Sumamente util y didactico. Muchas gracias!

@holgerespinola1345 6 ай бұрын

Eres genial, muchas gracias por este consejo, va a ser muy util

9 ай бұрын

muy buena introducción

@LaHoraMaker 9 ай бұрын

Gracias Pedro el comentario!

@andrese85 3 ай бұрын

Tremendamente bien explicado!

@jaimemunoz3025 2 ай бұрын

gran aporte bro, saludos

@LaHoraMaker Ай бұрын

Gracias a ti por comentar!

@user-wc7em8kf9d 9 ай бұрын

¡Cojonudo! Muchas gracias.

@pacollisomasaje 9 ай бұрын

Brutal! Ya tienes un fan

@LaHoraMaker 8 ай бұрын

Bienvenido Paco!

@sergioponcedeleon3078 2 ай бұрын

Hola! genial tus videos! Una consulta si es posible. ¿Qué diferencia hay entre utilizar gpt4all y AnythingLLM para chatear con documentos.

@LaHoraMaker Ай бұрын

Fundamentalmente GPT4All está más orientado a modelos locales (con licencias libres) y compatibilidad con equipos menos demandantes. AnythingLLM tiene funcionalidades más complejas y se integra con múltiples proveedores online. Para mi tiene mucho que ver con la aplicación con la que te sientes que interactúas de la manera más natural.

@TheRodvin 8 ай бұрын

Me fui a probarlo en cuanto vi que le usabas el orca, bueno use una version mini para probar, y es una gozada como evita contestar en español, como cocinar un huevo duro...

@LaHoraMaker 7 ай бұрын

Quizás tengas más suerte con modelos como Mistral o Flor. Gracias por compartir tu experiencia respecto al uso de Orca.

@DValdes.P 10 ай бұрын

Muy buen vídeo! Sólo tengo una duda, admite documentos con un formato distinto a PDF? Saludos!

@drycfullmetall 7 ай бұрын

Gracias muy claro

@LaHoraMaker 7 ай бұрын

Me alegro que te guste! Gracias por comentar!

@bechelego5337 2 ай бұрын

Hola, muchas gracias por tu vídeo, es excelente en todos los sentidos. Una pregunta, acabo de descargar GPT4All y no aparece SBert en los modelos, ¿qué puedo hacer? ¿Puedo instalarlo manualmente de forma fácil?

@LaHoraMaker 2 ай бұрын

Si no te aparece SBert para hacer los embeddings puedes instalar el modelo de nomic para generarlos. Este aparece en la última versión y funciona muy bien.

@bechelego5337 2 ай бұрын

@@LaHoraMaker Gracias!

@MiguelMartinez-yn8hf 9 ай бұрын

Magnífico vídeo. Una duda sería posible activar el api server y que "el barril" estuviese siempre habilitado y no habilitarlo cada vez que se quiera hacer la pregunta? Es decir desde un frontend chatear con los localdocs de gpt4all. Un saludo

@miguelmaravi6050 5 ай бұрын

Buenosdias. Muchas gracias por comparit su tiempo y conocimiento. Me gustaría preguntarle cuantos archivos PDF puede tener la carpeta local de donde se esta realizando la consulta, quiero saber cuantos archivos a ña vez puede analizar, muchas gracias.

@mrianoabril 5 ай бұрын

excelente felicitaciones y gracias. Me podrias guiar con un duda?, como se puede implementar un servicio que publique una api que via una apikey permita ser consumida por una app de usuarios cerrados y pueda consultar los documentos?

@LaHoraMaker 5 ай бұрын

Dale un vistazo a este vídeo sobre el montaje de este tipo de servicios en modo intranet con varios usuarios: Servidor IA para tu Intranet 100% local usando Ollama y Open WebUI kzbin.info/www/bejne/rIqQY2uan81maZY

@anthonyplugins 4 ай бұрын

Muy bueno, y es posible activar mediante la API los localdocs? Para ejecutarlo en local pero desde python o cualquier lenguaje?? Gracias por tu contenido ❤

@omarz001 10 ай бұрын

Excelente. Ahora, se podra conectar a una base de datos mysql o postgres, y hacerles consultas? O estoy pidiendo demasiado ????? Saludos

@LaHoraMaker 10 ай бұрын

Justo esta semana pasada acaba de salir un plugin para Semantic Kernel (un framework de IA open source de Microsoft) para conectar con PostgreSQL. Exploraremos esta posibilidad a futuro. Gracias por comentar!

@ajarivas72 9 ай бұрын

@@LaHoraMakeresperando el video

@davidwebchile 6 ай бұрын

cargue un documento pdf, pero pensé que podría extraer info de el, pero no lo hace. Necesita de un tema generalizado. Gracias por el video

@SoyJavero Ай бұрын

Qué lástima ya iba a ver el video

@ivonnecheese 7 ай бұрын

Hola, muchas gracias por la información, pienso instalarlo, pero antes, me pregunto ¿si le puedo poner a cada chat una base de conocimientos propia, es decir, su propia carpeta? O ¿cada vez que quiera preguntar a un grupo de documentos debo cambiar la carpeta?

@LaHoraMaker 7 ай бұрын

Si se puede. Para ello tienes que etiquetar los documentos por grupos en plan trabajo, notas, podcasts y luego cuando vayas quieras usarlo solo tienes que poner /podcasts o /trabajo y usará esos documentos

@pacollisomasaje 9 ай бұрын

Muchas gracias por tus magníficos vídeos. Estoy intentado hacerlo con mi MacBook con M2 Pro y no me funciona con un documento de 2,8 MB ¿Puede que no funcione en Mac o que el documento sea demasiado grande?

@pacollisomasaje 9 ай бұрын

Me auto respondo. Parece que me equivocaba al no ponerle un nombre a la colección

@LaHoraMaker 8 ай бұрын

Gracias Paco, me extrañaba que no funcionara con un solo documento de pequeño tamaño. Me alegro de que hayas conseguido solucionarlo!

@pacollisomasaje 8 ай бұрын

De todos modos no consigo que responda acertadamente. Por ejemplo, Le pido que me diga algo sobre un término que aparece en el texto como es la palabra "bursitis", muchas veces no la encuentra o la referencia a puntos que nada tiene que ver, o nombra puntos de acupuntura mal con información errónea. ¿puede tener que ver con falta de organización de datos en el pdf tal como lo necesita la ia? ¿cual es la mejor forma de darle datos? ¿CSV, Json? Gracias @@LaHoraMaker

@AaronBarreiroBarreiro 4 ай бұрын

Una duda, hay posibilidad de limitar el conocimiento a SOLO lo que subimos en documentos? Porque no soy capaz de hacerlo modificando el prompt que le llega al modelo. Muchas gracias!

@Yoko-0x0 2 ай бұрын

Hi bro, esto se puede hacer en LM studio?

@AGL0678 8 ай бұрын

Excelente video, muchas felicidades, tengo la duda, una vez hecho esto, como puedo compartir para consultar desde otro dispositivo propio, ósea, si tengo mi máquina de escritorio en casa, me puedo conectar desde mi celular o laptop de cualquier parte a este modelo??, saludos dede México, **nuevo suscriptor

@LaHoraMaker 7 ай бұрын

Hola! Justo hemos compartido esta semana un video sobre cómo montar algo similar para dar servicio a una intranet o red personal. Dale un ojo y para cualquier duda ¡aquí estamos!

@AGL0678 7 ай бұрын

@@LaHoraMaker Muchas gracias, justo me acaba de llegar el aviso de ese video, saludos

@FaRLam 7 ай бұрын

genialll!!! quiero generar un gestor de consultas de las normas iram de dibujo tecnico (argentina), para mis alumnos en la escuela, me podrías dar una mano? gracias por leer!

@LaHoraMaker 7 ай бұрын

Hola Ricardo, ¿tienes un enlace a los documentos con las normas que te gustaría utilizar? Me gustaría darles un vistazo

@andersit0gfx972 5 ай бұрын

una cosa, el otro dia analice gpt4all con un antivirus de confianza y habia sospechas de virus. Como lo ves? Crees que tiene virus

@ttinerfeno 9 ай бұрын

Hola César! En primer lugar darte las gracias por el vídeo. Excelente como siempre! Una pregunta, cuando hago la generación de embeddings tarda bastante GPT4 en obtenerlos de los documentos. Entiendo que es porque usa CPU en vez de GPU. Es posible configurar el programa para que use GPU como se podía hacer an LMStudio?. Muchas gracias! Daniel

@LaHoraMaker 9 ай бұрын

Muchas gracias por el comentario! El tema de los embeddings en GPT4All va bien para documentos que no son super extensos (o que no son un número muy elevado). Cuando está creando los embeddings por defecto utiliza efectivamente la CPU. El programa está pensado para funcionar en cualquier equipo, aunque no lo haga excesivamente rápido. La semana pasada en CES Nvidia anunción Chat with RTX, para hacer un RAG local acelerado con NVidia RTX. Ahí todo debería ir rápidisimo (aunque estoy en lista de espera para el anuncio de la descarga). Más actualizaciones en breve!

@LuisMartins-r8l 7 ай бұрын

Hola. Tu tutorial es muy bueno. Me estoy encontrando con el problema de que cuando hago un prompt a ficheros locales con sbert en la linea de la contestacion el texto sale asi ¿como solucionarlo? !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! pero las fuestes por lo menos son legibles... 1. By Pedro Amorim Lopes. Date: 2024, January 26. In T-2022_Implementação de metodologias BIM em departamento de projeto aplicação a um caso de estudo_Pedro Amorim Lopes.pdf. Page 54. Context 2. By João Antunes. Date: 2024, January 30. In T-2013-Interoperacionalidade em sistemas de informação-João Manuel Pimentel Antunes.pdf. Page 89. Context 3. "Microsoft Word - PG38880_ TAÍS-CORREÇÃO-JUN22". By WB. Date: 2023, October 12. In t-2022-BIM caracterização da evolução da oferta curricular e da produção científica, em Portugal Tais Sales Wanderley.pdf. Page 24. Context

@LaHoraMaker 7 ай бұрын

¿Te pasa lo mismo con todos los modelos?

@LuisMartins-r8l 7 ай бұрын

lo he reinstalado. Tengo el modelo sbert cargado para trabajar con documentos locales pero cuando voy a cargar el modelo no me aparece en el listado

@LuisMartins-r8l 7 ай бұрын

Los otros modelos funcionan pero mi objetivo era de trabajar con documentos locales. No veo otro modelo que permita eso en el listado. ¿tienes alguna sugerencia? Gracias

@jaumet 6 ай бұрын

A mí me pasa lo mismo, pero con Sbert. He probado GPT4all Falcon y ese si que ,e lo deja escoger. Si niro en la carpeta donde bajo los modelos, veo que para Sbert ha bajado: all-MiniLM-L6-v2-f16.gguf embeddings_v0.dat localdocs_v1.db No entiendo qué passa. Uso Linux Mint (basado en Ubuntu) Mil gracias!! @@LuisMartins-r8l

@ramspartan117 5 ай бұрын

Como me gustaría que existiera una IA local que hiciera la función de utilizar enlaces web y los analizara directamente, como lo hace la pagina Groq.

@mariacamilaortizcastaneda8435 7 ай бұрын

¡Hola! ¿Hay alguna forma de trabajarlo en colab?

@LaHoraMaker 7 ай бұрын

Hola María, dale un vistazo a este repo! github.com/Luxadevi/Ollama-Colab-Integration

5 ай бұрын

Pero ni el buenos dias responde. Algo que si funcione?

@Noctis-uv8gv 10 ай бұрын

performa mejor que el hermes?

@LaHoraMaker 10 ай бұрын

Gracias por la pregunta @noctis-uv8gv! GPT4All soporta múltiples modelos por defecto. Entre los modelos disponibles está nous-hermes-llama2-13b.Q4_0.gguf. Hay versiones más recientes como openhermes-2.5 que tampoco no están incluidos, pero que seguramente se ofrezcan también en breve.

@Noctis-uv8gv 10 ай бұрын

Gracias por responder, era ese mismo al que me refería, perdón la falta de contexto, esperando con ansias el openhermes 2.5 :D ! feliz día @@LaHoraMaker

@rodrigoormenojabonero5035 8 ай бұрын

No me funciona, el combo de arriba no me sale por lo q no puedo elegir el modelo que quiero. Alguno más le pasa???

@AaronBarreiroBarreiro 8 ай бұрын

A mi me pasa lo mismo

@LaHoraMaker 7 ай бұрын

Hola Rodrigo, esto puede ocurrir si no has descargado ningun modelo. Para resolverlo, dentro de las opciones de configuración tienes que seleccionar modelos y allí descargar alguno de los que aparecen disponibles. Una vez tengas el modelo descargado debería aparecerte en el desplegable.