Poser des questions à un PDF dans ChatGPT ou Mistral AI (RAG)

[@lariost5683]

Pour avoir programmer des RAG en local avec ollama, j'ai remarqué que la phase d'embeddings et de vectorisation du document est très gourmande en calcul. Je peux faire tourner un LLM en local sans avoir besoin d'un GPU, mais dès que je veux faire appel à des fonctionnalités RAG, j'ai l'impression que l'utilisation du GPU devient une nécessité, pour la phase d'acquisition de documents et sans doute aussi pour la recherche vectorielle. J'ai lu aussi dans des articles que pour ce qui est du RAG, l'information est plus facilement trouvée si elle est au début du document voire à la fin, mais si l'info est dans le ventre mou, ça devient plus difficile. J'ai remarqué que les informations du RAG sont données sous forme d'embedding au LLM, et je me demande du coup, si en faisant une recherche sémantique plutôt que vectorielle, on transmet les informations dans le prompt donc en langue françase en lui disant base toi sur ces passages pour répondre, si les réponses seront aussi efficaces qu'avec l'approche vectorielle.

[@melitalia1]

Super video, exactement ce que je cherchais merci à toi ! Tu sais si c'est possible de le faire avec LM Studio ? Je ne trouve pas l'info

[@jeanviet]

Salut, pas de RAG directement dans LM Studio. En revanche, on doit pouvoir connecter LM Studio à un dossier local qui contient des documents en utilisant les projets git open interpreter et aifs. Dès que j'arrive à mettre ça en pratique, je ferai une vidéo là dessus

[@francoiscostard]

Merci Janviet ! En plus, avec la bibliothèque que j'ai, ça va me être très utile. J'aime vraiment le contenu de tes vidéos récentes qui tournent autour des LLM. (Sinon suite à ta dernière vidéo, j'aimerai essayé de faire tourner Mistral 8x7B, mais suppose qu'il deamnde une grande capacité de mémoire vive. J'ai de la RAM en haute fréquence (4300 MHz) au lieu d'une grande capacité en taille (16 Go pour ma part) de RAM. Sinon, as-tu un serveur Discord ? Pour tes prochains sujets autour des RAG : Comment faire tourner des modèles Open Source ? Comment aborder la vectorisation et l'approche RAG ? Comment affiner ses réponses ? Et la plus intéressante et plus laborieux : Comment construire son LLM à partir de zéro ? Voilà. Je te t'encourage dans tes vidéos. François C.

[@jeanviet]

Merci François pour les encouragements et tes questions pertinentes pour ma prochaine vidéo autour de RAG. Mixtral 8x7B en version 4bit a besoin d'au moins 25go de RAM, donc 16go à mon avis ça ne passera pas. Essaie pour voir. Sinon rabats toi sur le petit modèle 7b moins gourmand qui est adapté pour du RAG. Pas de serveur discord

[@francoiscostard]

T'inquiette normal :) Merci beaucoup ta reponse, Jean-Baptiste Je vais tenté avec Mistral 7b alors. Bonne journée @@jeanviet

[@lazyac_]

tu peux tester vanna AI? avec un bigquery par exemple.

[@llmia-n2x]

Je n'ai pas Copilot qui apparait sur Egde alors que j'ai la version up to date??? Faut il ajouter une extension ou qlq chose comme cela?

[@Markus-dk4ro]

Très intéressant ! J'aimerais l'installer sur un serveur Azure et le nourrir avec mes données (pdf, word, excel, mails, ..) pour le rendre accessible a différents utilisateurs. Penses tu que cela est possible? Ensuite, est il possible d'entrainer le modèle avec ces données pour limiter les risques d'erreurs?

[@francoiscostard]

Cool comme projet. 👍

[@cedrix3547]

Hello ! J'ai un peu le même projet que toi en tête actuellement, as tu essayé l'entrainement du modèle avec tes données, est ce que ce fut pertinent ?

[@cedriclgrdcrt594]

Merci pour tes vidéos de veille que je trouve très instructives. Leur format est parfait. LE RAG est très tendance en ce moment. Dans le même sens que @francoiscostard, j'aimerais beaucoup d'autres sujets sur le RAG : - monter un RAG avec LangChain en donnant l'adresse d'un repo en local, contenant des fichiers multi-formats, des urls web et une adresse de BDD - continuer à faire des vidéos sur les nouvelles librairies qui te semblent pertinentes (mais là-dessus, je me fais pas de soucis, tu as toujours de bons sujets) - et le graal, pour moi, quelle serait la meilleure machine grand public, pour faire tourner un LLM (+ RAG) chez soi. - ton retour d'expérience avec Open Interpreter (j'aimerais bien connaitre ton opinion sur ce script)

[@jeanviet]

Grand merci pour tes retours très complets. Je note l'idée du RAG avec langchain, je me ferai sûrement aider par un collègue + expert que moi en machine learning (Patrice Ferlet, qui est intervenu 2 fois sur la chaîne), pour open interpreter, j'avais fait une vidéo il y a quelques temps ici kzbin.info/www/bejne/q4GyhWiqraiqfbM j'ai vu que le dev a ajouté un projet RAG d'indexation de docs internes twitter.com/hellokillian/status/1749354374281977954?t=3uLIeP9UfjSHU3B2tJ-UXQ&s=19

[@MikeTheOuf]

Ca marche uniquement avec des pdf texte ? ou bien il sait faire de l'OCR ?

[@jeanviet]

C'est mieux d'avoir du texte brut, car le texte est ensuite transformé en vecteur pour faire les recherches de similarité avec ta requête. Donc si ton PDF contient des scans de texte, donc images, il faudra le transformer en texte brut lisible par les modules d'embedding qu'utilise l'architecture RAG des outils que j'ai présenté. Il me semble que h2ogpt intègre un module d'ocr. Cf l'échange ici github.com/h2oai/h2ogpt/issues/811

[@MikeTheOuf]

@@jeanvietmerci pour ta réponse, j'imaginé une IA entraîné sur les documents (souvent pdf scanné) de projet en entreprise, permettre des récap pour les nouveau arrivant. Après vu les bétises qu'il arrive a sortir je me dit que c'est pas une très bonne idée.

[@ctonic_fr]

Merci Jean Baptiste très intéressant mais trop technique. C’est pourquoi je préfère la solution Bing/Edge. Porte toi bien 👍

[@jeanviet]

Au plaisir, je me doutais qu'il fallait mieux insister sur des solutions user friendly. Bing/Edge est très bien si tu n'as pas de données personnelles dans tes PDF.

[@ctonic_fr]

@@jeanviet Je pense que tu as raison de me mettre en garde contre les éventuelles dérapages en terme de confidentialité. Bonne soirée.

[@sebastienl2140]

masterclass le "embedder" le document

[@sebastienl2140]

Le system RAG permet de mieux comprendre les limites des LLM, pas mal

[@JeanGrillage]

La vidéo commence mal. Vous ne savez même pas ecrire comme il faut janvier. 😢

[@jeanviet]

chatgpt.com/?q=qui%20est%20jeanviet

[@yannduchnock]

Pour amateurs de Microsoft uniquement. Pas compris l'intérêt de polluer son PC avec Edge, alors qu'il y a des navigateurs open-source. Bref poubelle...

[@jeanviet]

Tu pollues ton PC avec quel navigateur ?

[@yannduchnock]

@@jeanviet J'utilise surtout Brave (basé sur Chromium), parfois Firefox. Edge est bloqué avant même l'installation de Windows, grâce à une ISO d'installation que j'ai personnalisée sans Edge, Cortana, Internet Explorer, bref les trucs inutiles et lourds.

[@jeanviet]

​@@yannduchnock vu que tu bidouilles pas mal. PrivateGPT peut être le bon outil de RAG pour toi

[@yannduchnock]

@@jeanviet Merci mais je crois que Mistral ou Llama 2 marchent normalement sur PC avec n'importe quel navigateur par l'intermédiaire d'un serveur. Je ne pense pas avoir la même évolutivité avec PrivateGPT mais tout peut changer tellement vite dans le domaine. Je voulais installer Mistral 7B que j'ai téléchargé mais j'ai eu des soucis avec ma nouvelle carte graphique. C'est con parce que je suis passé à une Geforce NVidia RTX 3060 12 Go, un Ryzen 7700 à 8 cœurs et 64 Go de Ram, : ma carte graphique actuelle fait 2 Go !😶 La 3060 fonctionnait quand j'utilisais Windows sur un autre disque dur SSD, là cela bloque dès le Bios. Je l'ai évidemment réinitialisé, en vain, pas bon signe... Le Ryzen contient une puce graphique autonome mais cela bloque aussi, il n'y a qu'avec mon ancienne carte graphique que ça marche : c'est incompréhensible... Je suis passé aussi à un SSD M.2 de 1 To (c'est vraiment très rapide) mais mon Windows transféré dessus ne démarre pas, l'OS est sur un SSD en SATA. C'est pour ça qu'il faut que je reprenne tout à la base en prenant des notes. Je n'ai jamais eu autant de phénomènes bizarres depuis plus de 20 ans mais Windows est de moins en moins souple et impose trop de choses inutiles et intrusives. Cela m'a tellement saoulé que j'ai préféré le statu quo. Il faut que je relise la doc et reteste depuis la base quand j'aurai le cœur à ça. Je tenterais bien une Linux Fedora mais il faudrait déjà passer le Bios avec la 3060. Je n'utilise rien de chez Microsoft en dehors de l'OS mais je trouve assommant de taper encore du code sous Linux juste pour installer un truc. Visuellement j'ai du mal à recopier des séries de parfois 20 caractères incompréhensibles. Beaucoup pourrait être à coup de clics et de sélections comme sous Windows depuis toujours, passons... A la vitesse où évolue les I.A. il y aura une nouvelle version révolutionnaire avant que j'ai fait quoi que ce soit. La 7B téléchargée est déjà dépassée par la 8X7b ! 😄 J'espère ne pas t'ennuyer avec mes histoires de config.

[@coolfarmer]

@@yannduchnock Mec, Edge est également basé sur Chromium. Franchement, tu délires, avoir Edge d'installé sur ton PC n'a absolument rien de "lourd". Ça change même absolument rien. Du gros délire. PS: Je n'utilise pas Edge, je suis pas la pour le défendre, mais bon, des commentaires extrémistes comme le tien, pouaaa, grandit un peu mec. Tu perds vachement ton temps a retiré tout ça pour avoir absolument AUCUN gain.