Installez votre ChatGPT local sous Linux avec Ollama

[@kelticlago]

Merci !

[@AdrienLinuxtricks]

Merci beaucoup pour le don !

[@duncanvanripple7806]

Waouw ! Merci pour cette première vidéo. Le sujet me passionne :) J'ai un laptop qui traine avec 32Go de RAM. C'est vraiment pas mal, j'ai hate de voir tes prochaines vidéos. SPOIL : Avec OpenWeb UI c'est encore mieux. Vraiment, MERCI beaucoup !

[@AdrienLinuxtricks]

Oui j'ai vu ton message sur l'autre commentaire ! Merci !

[@FrancisTrt]

Comme d'hab imple et claire. Idée: Exemple d'interfacer llama3 avec des commandes système par exemple surveille le ping vers un site, analyser un log...

[@yemky]

Il t'as saucé dans le descriptif du site. ^^ Très intéressant. Merci.

[@AdrienLinuxtricks]

haha

[@zebulon75018]

Merci pour cette vidéo , j espère que vous ferez une vidéo sur les RAG utilisant ollama , bravo

[@AdrienLinuxtricks]

Ce n'est pas prévu, mais je note l'idée.

[@albertalbert8468]

Super intéressant, une video qui ouvre des horizons ... vivement la suite BRAVO

[@AdrienLinuxtricks]

Oui bientôt ! je vais essayer d'alterner Linux et IA dans les prochaines vidéos

[@Damien-r1m]

Trop cool! Hate de voir la suite 🙂 Merci pour le partage 🙂

[@AdrienLinuxtricks]

ça va arriver, je vais essayer d'alterner Linux et IA dans les prochaines vidéos

[@jonathanchevallier7046]

Merci pour cette vidéo, comme toujours détaillée et claire.

[@AdrienLinuxtricks]

Merci !

[@damiengrabowski3395]

Très intéressant Merci et bravo ! j'attends la suite avec impatience

[@AdrienLinuxtricks]

Très bientôt, je vais essayer d'alterner Linux et IA dans les prochaines vidéos

[@McSpee]

Toujours super bien expliqué, bravo.👍

[@AdrienLinuxtricks]

Merci à toi 😊

[@beonyou]

Très intéressant, merci.

[@AdrienLinuxtricks]

Avec plaisir

[@globalservices.c]

je cherche a mettre l'ia au commande mon pc mes a chaque fois je fait planté le systeme probléme sudo , tu c'est comment je pourrais faire

[@michelpatry4944]

malade merci beaucoup pour ce beau tuto

[@AdrienLinuxtricks]

Merci !

[@blackswan6046]

Vraiment sympa tes vidéos, très clair.

[@AdrienLinuxtricks]

Merci !

[@viba9121]

Merci Adrien. Hate de découvrir les fonctions avancées de Ollama

[@AdrienLinuxtricks]

Oui !

[@virgil54]

Au top, comme toujours, merci 👍

[@AdrienLinuxtricks]

Merci à toi 👍

[@mathieuberthalay21]

Merci beaucoup pour la vidéo 🤩

[@AdrienLinuxtricks]

De rien :)

[@thierryrousseau4424]

Très intéressant😄:)

[@AdrienLinuxtricks]

Merci

[@zik744]

merci pour la video

[@AdrienLinuxtricks]

Avec plaisir

[@ActualiteSciencesFrance]

Bonne vidéo! Par docker, c'est rapide aussi!

[@AdrienLinuxtricks]

Aussi, ici, je souhaite comme d'hab montrer toutes les étapes pour comprendre comment ça fonctionne ;)

[@refractairebrique7486]

Intéressant 👍!

[@AdrienLinuxtricks]

Merci !

[@zacharietg]

Bonjour, ça me tenterai bien de l'installer sur mon laptop... Est-ce que les 4 Go de données peuvent être mises dans la partition /home ? Il ne me reste que 22 Go à la racine et je voudrais éviter de la remplir complètement, sinon faudrait que je m'amuse à redimensionner mais peur de casser LUKS...

[@AdrienLinuxtricks]

Oui, tu peux installer dans le home. par défaut c'est dans /usr/share/ollama/.ollama/models mais on peut changer l'emplacement , je vais prévoir une vidéo spécifique sur ce point

[@zacharietg]

@ merci beaucoup, j’ai vu que la vidéo est sortie, je regarderai cela la semaine prochaine.

[@alphaonex86]

j'ai rocm 6.1.1 sous gentoo, tout le reconnais bien sauf ollama qui veut un clef spécifique dans /sys... domage

[@deadman5714]

bonjour ou bonsoir, après installation, peut-on le désinstaller proprement?

[@jean-baptistedelettre1776]

intéressé aussi par cette question!

[@Darktreize]

Si tu veux pas l'installer tu peux le déployer sous forme de container il existe un image ollama. Sinon tu peux aussi passer par l'application gpt4all qui propose une interface graphique et qui est dispo en flatpak

[@deadman5714]

@@Darktreize déjà installé mais j'aimerais le désinstaller proprement car je préfère pinokio

[@Darktreize]

@@deadman5714 ah ok. du coup faut suivre le process dans l'autre sens, supprimer le user puis les libs et le binaire associé

[@AdrienLinuxtricks]

Oui tu peux, je n'ai pas prévu d'en parler mais je me le note

[@olivierc.7168]

Merci pour cette vidéo. Quelle est la configuration minimale pour le matériel ?

[@AdrienLinuxtricks]

Pour Ollama, très peu. Cela va dépendre en fonctio n des modèles qui seront utilisés.

[@davidcoudray2207]

Salut Adrien, j'espère que tu prévois de parler de Open-webui, l'interface Web pour Olama. 😉

[@AdrienLinuxtricks]

Oui c'est prévu

[@fabdunet13]

Tu es merveilles ma curiosité, je vais regarder. Merci David et merci Adrien

[@jean-luclivemont8358]

♥

[@rachidamirat9470]

Top… comme d'hab…

[@AdrienLinuxtricks]

Merci

[@jean-luclivemont8358]

Intéressant!!! Juste une remarque, j'ai, par réflexe lorsque j'installe un serveur, choisi l'installation en English. Quand llama tourne et que je lui pose une question en français, il me répond en anglais.

[@jean-luclivemont8358]

Pas dépendant de la langue du système: j'ai fait un reinstall en Français, cette fois, et il me répond toujours en anglais. Strange.

[@jean-luclivemont8358]

Je lui ai demandé pourquoi elle me répond en anglais et depuis elle répond en français... Trop drôle.

[@AdrienLinuxtricks]

Sur les modèles de petite taille, il peut en effet ne pas répondre en français. Cela dépend aussi du nombre de mots dans la question. Plus il y en a et plus il saura détecter le français

[@benjaminrodier6902]

tuto tres bien expliqué, le prochain pourrait etre axé sur open webui ?

[@ISANGEJOEL]

-Salut adrien, stp je peux savoir c'est quel distribution Linux tu utilises sur ton ordi j'aime bien l'interface. Merci. 👍🏾

[@AdrienLinuxtricks]

Il s'agir de Fedora Workstation :)

[@dgeordgy21]

Est-ce que cest possible de lui faire apprendre des documents interne specifique?

[@2106chrissas]

Cela s'appelle un RAG (Retrieval augmented generation) Tu peux utiliser ollama en mode server et une interface qui se connectera à ollama. Exemple d'interface : Openwebui (interface web) ou lmstudio, tu fourniras les documents dans l'UI que tu as choisis et le LLM analysera tes documents.

[@AdrienLinuxtricks]

On va en parler, c'est prévu !

[@remihernandez800]

Tres intéressant, un petit tuto sur comment le faire fonctionner avec letta en parallèle de prévu ?

[@AdrienLinuxtricks]

Je note la suggestion

[@Eric.pro94]

Salut et merci pour ta vidéo, pourquoi ne pas l’installer avec Docker?

[@AdrienLinuxtricks]

Salut, je préfère montrer toutes les étapes d'installation et de traiter le sujet de façon complète. On a ainsi la connaissance du fonctionnement, rendant plus facile le "debug" en cas de soucis. Dans la plupart des cas, je préfère cette approche, sans être spécialement réfractaire à docker (ou podman)

[@Eric.pro94]

@@AdrienLinuxtricks Merci de ta réponse. Donc dans un premier temps tu me conseille de l'installer comme toi sans Docker ou autre?

[@yvesprogrammeur]

top merci

[@AdrienLinuxtricks]

De rien

[@tybird362]

merci adrien!

[@AdrienLinuxtricks]

;)

[@tybird362]

@@AdrienLinuxtricks heureusement que tes videos sont là, c est vraiment trop cool

[@jean-baptistedelettre1776]

cool! je suis curieux de savoir quelle différence de résultat il y a entre le modèle 8b et le 70b.. quelle ressources pour le 405b? ça me donne envie de tester! merci pour cette vidéo!

[@2106chrissas]

Au dessus de 8B, il faut un GPU. le CPU est trop lent pour les gros modèle de LLM

[@AdrienLinuxtricks]

👍 Je n'ai plus de machine avec suffisemment de RAM pour tester. La version 70b donnait des résultats déjà très intéressants et plus précis que 8b. Pour le 405b, il suffit de la récupérer, et de tester de la lancer, il dira ce qu'il est nécessaire d'avoir (c'est peut être indiqué dans une doc aussi)

[@rorotoche]

Bonjour Adrien, j'ai peut-être raté un truc mais il m'a semblé que tu allais montrer la charge processeur quand ollama est en train de répondre puisque tu la montres avant. Ça aurait été intéressant de voir la charge processeur sur ce "petit" modèle.

[@AdrienLinuxtricks]

Ah oui, j'ai loupé, c'est 100% sur tous les coeurs !

[@rorotoche]

@AdrienLinuxtricks merci !!

[@kristof9497]

Merci.

[@AdrienLinuxtricks]

:)

[@mwlulud2995]

Salut, j'espère que tu montrera comment connecter cette LLM à une interface graphique du type web comme Open-webui, et même des applications desktop !!!

[@AdrienLinuxtricks]

Oui, c'est prévu

[@francoislepron2301]

Excellente vidéo et explications. Est-ce possible de faire tourner ollama sur WSL2 sous Windows 11 64 bits pro (64 Go RAM, 6 To SSD) en utilisant votre tuto ?

[@AdrienLinuxtricks]

A tester, je ne sais pas, je n'ai pas de machine Windows pour faire le test. De plus je ne sais pas comment le calcul GPU se fait. Mais il existe une version Windows de Ollama

[@d3vn0o6]

yo, super video comme dab, je sais pas si tu connais ,pour ce qui sont allergique a la ligne de cmd il existe un flatpak Alpaca l'appli desktop de ollama

[@AdrienLinuxtricks]

Oui, je connais, c'est dans la liste des thèmes à aborder

[@lincredule9722]

Le problème avec le local est la date de son entraînement du modèle. Par exemple, ne posez pas une question sur un événement qui s'est passé il y a deux semaines à un modèle de juin 2024. J'avais installé LM Studio au printemps dernier, mais je ne l'utilise que très rarement. J'utilise plutôt Perplexity. En général, le modèle 70B donnera une réponse plus réfléchie et plus détaillée pour des questions qui ne dépassent pas la date de son entraînement. Pour le 8B, la réponse sera plus basique (plus bête) , et si tu le corriges, il s'excusera. C'est une des faiblesses du local : ils passent leur temps à s'excuser.

[@AdrienLinuxtricks]

Perplexity est en effet en "temps réel". Mais l'avantage du local c'est que tu peux modeler le modèle à ta façon, je le montrerai dans une prochaine vidéo. Mais tu n'as pas besoin de connexion à Internet, tu peux l'héberger toi même et l'intégrer à tes applications sans frais d'API.

[@jeromedesbois6907]

Salut Adrien, merci pour ta vidéo. Juste une petite question stp. Je sais que tu es actuellement focalisé sur Ollama, mais penses tu pouvoir faire vite fait un petit comparatif avec Pinokio si jamais tu en as le temps et l'envie bien entendu. Je te remercie d'avance.

[@AdrienLinuxtricks]

Je vais déjà finir les petits trucs sur Ollama. Il faut que je regarde aussi llamacpp, je note aussi dans la liste pinokio

[@jeromedesbois6907]

@@AdrienLinuxtricks Merci 👍

[@Pasty0386]

L'idée est excellente et m'a donné envie de faire une installation mais avec mes 8go de ram je ne vais pas aller loin 🤣🤣

[@AdrienLinuxtricks]

Tu peux tester avec un petit LLM, cela permet de s'amuser quand même un peu (mais moins précis)

[@fabdunet13]

Salut Adrien . Avec casa OS y’a des module pour l’intelligence artificielle. Une plate-forme qui ressemble à ChatGPT et qui utilise le GPU et CPU de ton PC. Il y a d’autres trucs que je n’ai jamais exploré. Pourrais-tu en faire une vidéo ?😂

[@AdrienLinuxtricks]

On a parlé de casaOS il y a un moment, mais il n'y avais pas de module IA (on n'avait pas exploré le sujet)

[@bluekent69]

Oh que la série qui s'annonce va être intéressante surtout que je viens de changer mon poste pro .... 🙂. Par curiosité tu utilises quoi comme distrib linux pour faire tourner tout le reste ?

[@TitanSurtur]

Fedora Server et Fedora Workstation 😉

[@AdrienLinuxtricks]

Comme indiqué dans le descriptif, Fedora Workstation sur mon PC Fixe (idem sur le PC portable où je fais mes formations Linux) Le serveur à la maison qui fait tout est sous Gentoo

[@bluekent69]

Ah zut j'avais pas vu que tu avais mis cette info dans la description. Est ce que tu pense faire une vidéo sur l'installation de cuda ? Sur mon poste fixe de boulot j'ai une carte NVIDIA et j'aimerais bien l'utiliser pour faire un peu d'IA.

[@TheWatcher241212]

Ce qui serait utile, c'est de pouvoir fournir des documents au modèle et de pouvoir l'interroger ensuite sur ces documents.

[@AdrienLinuxtricks]

On va voir jusqu'où on peut aller ;)

[@rodolpher8056]

Un peu d'IA, cool !

[@neurophonie42]

+1

[@AdrienLinuxtricks]

:)

[@putinputout5563]

Une présentation de clear linux est-elle prévue prochainement ? J'ai des problèmes pour installer la version desktop en vm personnelement ^^.

[@AdrienLinuxtricks]

Ce n'est pas prévu pour le moment, mais j'avais noté il y a 2 ans de la tester, ce que je n'ai jamais fait

[@dominiquec.8386]

Question de noob ... j'ai plutôt apprécié le llm "aya" mais , passons. Comment faire pour que l'ia puisse bosser sur un fichier local , c'est le truc que je n'ai pas trouvé. Si tu as des llm à recommander selon ce qu'on veut faire, comme par exemple , travailler sur un fichier de tableur... je suis preneur aussi d'une vidéo explicative .

[@AdrienLinuxtricks]

C'est un peu plus compliqué que ça, je vais voir comment faire une vidéo sur le sujet ou un tuto, en fonction de la machine que j'ai à ma disposition

[@thierrybo6304]

Tien il faut que je teste ça sur mon pc Linux. Jje viens juste d,installer sur mon pc de boulot sous Windows LM Studio + AnythingLLM pour essayer d,avoir un chat AI que j'enrichis avec des tas de docs professionnelles (pdf, Word) que jui fait ingurgiter.

[@haibaidzokwomandre1468]

regarde la vitesse de ta connexion. je n'arrive meme pas a avoir 5MB/s

[@rastaquoueres7655]

Du coup, on a une bibliothèque d'informations et la bibliothéquaire qui va avec pour faire des recherches. Pas d'images, pas de sons et vidéos, juste le bla bla de la bibliothéquaire... même pas migonne ! Et en plus, il faut avoir un gros PC, sinon la bonne femme ne vous adresse même pas la parole ! ça s'appel pas du masochisme ?

[@thierryrousseau4424]

First 🤗:)

[@AdrienLinuxtricks]

héhé

[@djalbox3976]

Vraiment sympa tes vidéos, très clair.

[@AdrienLinuxtricks]

Merci !