DeepSeek - Installation & Utilisation Locale en quelques Clics !

Saviez vous qu'installer DeepSeek en local sous Linux ne nécessitait pas plus de 3, 4 clics ?
C'est grâce au fait que cet IA chinois, qui arrive au niveau de chatgpt, est totalement opensource et dispo sur github :D !
Pourquoi l'utiliser en local ? L'idée est d'avoir le contrôle total des données, d'avoir de bien meilleures performances mais aussi de gagner en flexibilité !
Enfin bref que du bonheur !
Vous kiffez le fait de profiter des vidéos sans aucune publicité ? N'hésitez plus à me soutenir sur le Patreon ! / vinceff

[@Cardiacman]

Tu sais lire bro ! Je te conseille R1, il sera plus lent mais donnera de meilleures réponses. (V2 est obsolète)

[@sauriak8286]

Merci pour la démo. Je ne m'attendais pas à une installation aussi simple et graphique. J'allais m'embarquer pour l'installation pas à pas 'container + Ollama + R1 7b'. Tip top !

[@Vinceff]

Oui parfois on se fait bien suer pour pas grand chose 😅. Ravi d'avoir pu t'être utile Sauriak !

[@philippelages1121]

L'installation via ollama est ultra simple et pas besoin de docker

[@sauriak8286]

@@philippelages1121 Oui, mais je préfère. Disons que ça me rassure (inutilement ?)

[@sauriak8286]

@@Vinceff Je viens d'appliquer ta démo sur mon laptop T-480 32go + MX150. ça fonctionne avec le modèle R1. C'est assez rapide. J'ai tenté le 7b, je m'en doutais, c'est fonctionnel mais bien trop lourd.

[@Tala2n]

@sauriak8286 Ce que j'aime pas avec les installations à base de curl ,c'est que si je veux desinstaller je ne sais pas comment tout virer.

[@patricksalmon3494]

Impressionnant ces réponses très détaillées et ultra rapides. Merci Vinceff.

[@stfinit4online]

Merci pour la vidéo. Oui je confirme les autres commentaires, Deepseek R1 est lke modèle qui a été médiatisé dans le sens où il embarque le raisonnement. Pour utiliser les llm, j'utilise aussi Ollama et Open-webui pour le graphique (si docker est employé, bien ajouter dans le docker compose la prise en charge du GPU (pour Nvidia notamment si cuda)). Là où Ollama est "évolutif" c'est que pour le code, Bolt-diy l'utilise aussi. C'est une interface web qui te permet d'effectuer du code avec les llm présent dans Ollama, mais surtout, le code est en mode projet (c'est juste bien fait). Pour aller plus loin au niveau code, WindSurf est magnifique dans le sens ou tu peux aussi choisir quelques llm mais, à la différence de Bolt, le projet est en dur sur ton PC, pas dans un sandboxing web comme Bolt. Bonne découverte de l'IA :)

[@stfinit4online]

J'oubliais de dire que Ollama + Open-Webui te permet aussi c'utiliser les fonctionnalité des modèles qui en propose (par exemple, faire une image, uploader un fichier pour étude, parler directement à l'IA qui te répond)... Aussi, Open-Webui évolue rapidement sur github, les développer sont très actif :)

[@djjuliano1664]

Comme d'habitude cest nikel ;) je ne connaissais pas, du coup je vais le télécharger ^^ un grand merci.

[@stamy]

Merci pour la découverte de Alpaca, que je ne connaissais pas. J'ai déjà utilisé Ollama en local et c'est vraiment cool, à condition de prendre également le service web à coté. Juste pour info, ce n'est la version 16 bits mais la version 16 billion (qui veut dire milliards en français) que tu as téléchargé, si la taille du LLM fait 8.9GB. Il s'agit donc d'un LLM avec 16 milliards de paramètres, et la version en ligne utilise sûrement un modèle à 236 milliards de paramètres pour la Coder-V2, et c'est donc plus lent. Car même avec une machine de guerre, car elle est partagées entre de nombreux utilisateurs. Les réponses seront plus précises par contre. Ensuite pour un nb de paramètres donnés, tu peux choisir par exemple entre plusieurs versions, comme q4, q8 ou fp16. Les nombres sont donc stockés sur 4, 8 ou 16 bits. Je n'ai pas vérifié, mais tu as probablement téléchargé une version 16 billion en q4. NB: Toutes les modèles de cartes graphiques ne gèrent pas le int8 par exemple. Je crois que du coté d'AMD il faut une version 7000 minimum pour que Rocm (sorte de Cuda) gère ça correctement. Je viens de voir que Alpaca est basé sur Ollama :) Je serais curieux de voir les explications de DeepSeek R1 sur ce qu'est une LLM et les différences entre 16b et la partie q4,n q8 etc :)

[@theunclemez]

DeepSeek en mode "DeepVince R7" Trop top le content, may the Force stay with you

[@albathor9668]

Bonjour Vinceff et merci pour cette vidéo. J'utilise une IA différente en plus de celle-ci pour réviser les langages que j'ai pratiqués dans le passé comme le C, C++, Java, JavaScript, ASM68000, x86, Turbo pascal, et les langages Web. Mais plutôt Jan pour l'interface et l'IA Llama 3.2 3b Instruct Q8 (3.19 GB).

[@andiriki]

c'est pas deepseek R1 que tu aurais du prendre?

[@Saetill]

Oh c'est top cet alpaca 🦙 !! J'ai vu les model Liama qui m'intéressent aussi beaucoup ! Merci pour la découverte .

[@francois9310]

Hum ... - "Qui est Macron ?" - " ... Il est également l'ancien maire de Le Havre et a commencé sa carrière politique à l'échelon local avant de progresser vers des fonctions plus élevées...." - "Ancien maire du havre ???" - "Emmanuel Macron a effectivement occupé le poste de maire de Le Havre entre 2008 et 2014. C'est pendant cette période que ses compétences en matière de politique locale ont commencé à se faire connaitre, notamment grâce à ses projets urbains et son engagement pour la jeunesse. Sa gestion du port du Havre a également été un point clé during his time as mayor...." Y'a en core du boulot !!! 😂😂

[@francois9310]

Merci ! Je suis assez réfractaire à l’IA en général que je trouve dangereuse mais en ope source et en local, ça change beaucoup de choses . J’ai la m1chine qui va bien, je teste de suite

[@ItakQ]

slt un modele a conseiller? , sachant que jsuis avec une 2080ti et 32gb ram et que c'est pour des question idiote, et du code (pour faire des ptit outil)

[@rodolpher8056]

Deepseek r1 14b avec tes 11go de vram ça devrait bien tourner

[@rodolpher8056]

Pour le code il y a mieux mais pour des petits outils à voir

[@ItakQ]

@ merci jregarderais

[@GregMadman]

Je n'ai pas encore regardé la vidéo mais très très hâte de savoir comment tu installes ça et si c'est performant, sachant que dans mes souvenirs, tu tournes sur une rx 6950XT qui n'est pas un foudre de guerre pour l'IA (j'ai le même GPU ^^) Edit : ah, tu es passé chez les verts ^^'

[@Vinceff]

Hello Greg, J'ai actuellement deux machines, une avec du AMD et l'autre avec NVIDIA, et je peux t'assurer qu'avec la 6950XT cela marche très très bien ! Feu à volonté donc !

[@yannos80]

merci c'est cool ca

[@Tala2n]

Dommage qu'Alpaca semble fait pour Gnome. Je m'y fait pas à cette façon de coder des apps qui fragmentent Linux... Il faudrait que je crée l'application de chat Deepseek, avec Deepseek lui-même 😆

[@jfchadeyron]

On a pas vu la consommation mémoire, ni cpu...ca serait interressant...le R1 est trop lourd en local ?

[@Vinceff]

En effet, j'aurai pu vous montrer ça Pour répondre à ton message, Conso CPU = quasi nulle (j'ai un thread qui monte à 27% sur un 14700KF) Conso RAM = 12Gb utilisé ! Par contre la carte graphique est utilisée de manière sporadique quand je fais une demande, pas le temps de voir l'impact réel, tellement c'est rapide, mais je pense qu'on est sur un 100% sur 5 secondes. (Que ce soit avec la 6950XT ou 4070s, c'est du pareil au même)

[@rodolpher8056]

R1 est dispo en 1.5, 7, 8, 14, 32, 70 et 671b. Un pc lambda : 1.5b à 8b. Un pc gamer : de 7 à 32b. Je conseille 32b si possible.

[@rodolpher8056]

Je ne connaissais pas alpaca, à voir. Sinon j'utilise ollama, des venvs où je place open webui ou lm studio. Pour Deepseek c'est le modèle R1, sur un PC gamer je pense que 14b doit etre réactif. Sur mon R5 5600 64go ram rtx 4060ti 16go 32b est bon et 14b moins précis mais réponses presque instantanées. Deepseek tourne plutôt bien sur gpu AMD (boycott NVIDIA Chine oblige ??) Bienvenue dans le monde IA !

[@koussy]

Merci la chine

[@MtTheToto]

Deepseek n'est pas totalement open source. Juste open weight. Ca reste une boite noire.

[@Vinceff]

Je comprend ton distinguo, sur le site officiel de deepseek, il y a bien la mention opensource écrite et bien mise en évidence. Mais en effet, c'est plutôt le modèle qui est opensource.

[@psour33]

Oui ben pour ma part, on va éviter d'installer des chinoiseries sur mon PC, IA ou pas. Ils nous fauchent déjà assez de datas. Merci pour le déroulé opératoire.

[@MtTheToto]

Tu n'installe aucune chinoiserie ici. C'est juste les poids. Il n'y aucun logiciel chinois ici.

[@koussy]

Tkt le soumis au sioniste tu n'as qu'à installer Lucie une ia française tu donnera tes données a Macron et en plus elle a l'air aussi intelligente que toi

[@Tala2n]

Preuves ?

[@psour33]

@@Tala2n Oh ben il n'y a pas besoin de regarder bien loin, ils copient tout, parfums, sacs, produits de luxe, avions, pinard, cognac. Ils nous fauchent tout (et pas qu'à nous). Je ne vais pas en plus installer une de leur technologie volontairement sur mon PC. Autant j'apprécie l'esprit de recherche et de curiosité de cette chaine, autant pour le reste je suis hors sujet de toute façon. Désolé

[@jkd7799Yann]

sérieux t'as laché ta 6950xt pour une 4070s ? Tu disais pourtant qu'amd était mieux pour linux ? après chacun fait ce qu'il veut 🤣

[@Vinceff]

Sérieux, réfléchissez avant de commenter.

[@Zhaoynix]

Merci pour ce petit tuto très intéressant. Je ne connaissais pas Alpaca, et je suis déjà en cours de téléchargement pour voir si cela peut tourner sur ma machine. Pourquoi ne pas avoir choisi DeepSeek R1? Est-ce à cause du poids ?

[@Vinceff]

Non pas du tout, je ne connaissais pas encore le modèle, mais tu as raison, le modèle R1 a l'air tout indiqué pour ce que j'en fais. 😅

[@Zhaoynix]

@@Vinceff Au final, je crois que R1 est mieux pour ma vieille machine. V2 a probablement de meilleures qualités, mais il est beaucoup plus lent sur ma vieille machine (i7 4770k avec RX 6600XT

[@Pomerole]

Super je suis ravi Vinceff mais sérieusement il faut choisir quoi comme version ? c'est important moi je vais mettre les 163 Go.