Mistral AI - je fais tourner un LLM sur mon macbook avec Mistral 7b

Découvrez Mistral AI, la jeune entreprise française qui révolutionne l'IA avec son modèle Mistral 8x7b et sa technologie innovante de 'Mixture of Experts'.
Dans cette vidéo, je plonge dans le monde fascinant de Mistral AI, expliquant comment leur modèle phare, Mistral 7b, excelle dans la performance et l'efficacité, et comment vous pouvez l'exécuter sur un MacBook Pro.
De plus, je compare Mistral 7b avec d'autres modèles de langage de pointe.
L'article utilisé pour le test: / run-mistral-7b-model-o...
Mistral et le sparse mixture-of-experts: mistral.ai/new...
Abonnez-vous pour plus d'analyses approfondies sur les dernières tendances en IA et soutenez ma chaîne pour ne manquer aucune mise à jour sur Mistral AI et d'autres innovations en IA générative. #LLM #GenAI #MistralAI

[@marc20dubois]

Y’a un logiciel qui centralise tous les model, le logiciel s’appel Jan il téléchargera automatique les model open source comme Mixtral, on doit même pouvoir ajouter ces clé pour chatGPT

[@pierrebittner]

Merci. A regarder alors!

[@JePenseDoncJeSerai]

Bonjour, Super comme alternative à GPT. Merci pour le partage. Comment peut-on "fine-tuner" un modèle téléchargé en local ? Je souhaite par exemple améliorer les capacités du modèles au codage en python pour du traitement de données. Existe-t-il une communauté partageant des modèles de Mistral 7B entraînés pour des applications spécifiques? Merci d'avance pour vos conseils!

[@pierrebittner]

Hello, on peut trouver beaucoup de doc sur internet sur le fine-tuning de mistral7b. Le site reference pour partager les modèles est hugging face. Par exemple tu peux prendre ce modele fine tune de mistral 7b pour etre un assistant de code : huggingface.co/TheBloke/Mistral-7B-Code-16K-qlora-GGUF

[@damienaix]

salut serais-tu quelle place(en Go) est nécessaire d'avoir pour faire tourner le LLM de mistral?

[@pierrebittner]

Hello @damienaix, tu trouveras ces infos dans la partie doc du site mistral.ai ➡️ docs.mistral.ai/getting-started/open_weight_models/ mistral a un nouveau package pour l inference github.com/mistralai/mistral-inference

Testé et validé, j'ai adapté le code en notebook sur VSCode et le ressenti n'est pas impressionnant. Toutefois, via le terminal en mode discussion, je dirais que c'est très prometteur. Je n'ai pas pu/encore tester le modèle : mixtral-8x7b-32k. Sinon, merci pour ton contenu, j'apprécie grandement ton travail.

[@pierrebittner]

Merci pour ton commentaire. Ca me fait plaisir. Le fait que ce soit possible, c'est déjà incroyable. Et ce n'est que le début. Je ne l'ai pas dit dans la vidéo, mais une autre motivation à tester Mistral sur mon macbook, c'est la disponibilité, stabilité et les lenteurs des API GPT. L'enregistrement de la vidéo sur Langchain Tri Series a été un calvaire à cause de cela. Je ne tourne plus de démo le jeudi soir. Je me suis dit qu'un LLM en local même un peu lent, c'est mieux que rien du tout... Pour les tests unitaires, le code assistant ou tout un tas de petites fonctions spécialisées, ça fait sens. Pour Mixtral, je pense le tester avec la plateforme de Mistral AI dans des uses cases plus avancées (Chain of thought, ReAct).

[@mathisdelbouis558]

Bonjour comment avez vous procédé je cherche à tester mais je n’ai pas de MacBook ?

[@khangvutien2538]

Suggestion pour les prochaines vidéos : peut-être au début quand vous compilez llama.cpp vous pourriez favoriser plus la fenêtre de Terminal ? La fenêtre du github ne présente pas un intérêt tel qu’il faille la garder plus grande que Terminal ? Merci en tout cas, c’est une vidéo très interessante

[@pierrebittner]

Merci pour le commentaire. c’est noté pour le terminal.

[@fredrichstrasse]

J'utile LLM Studio qui tourne bien sur mon Macbook M2 (32)

[@pierrebittner]

Merci pour l'info. Je vais regarder ça.

[@nicolasg.8830]

hello, super la vidéo, donc avec ce tuto on peut utiliser mistral sur python ? ;)

[@pierrebittner]

Merci! Oui exactement. Sur un macbook avec processeur M1 et plus. Voir le github de llama.cpp pour d’autres architectures.

[@lsmpascal]

Et sur un MacBook Pro 2020 Intel, la procédure est la même ? Merci.

[@pierrebittner]

Hello, pour macbook intel, il faut désactiver l'option metal. Voir ici --> github.com/ggerganov/llama.cpp?tab=readme-ov-file#metal-build . Il faut évidement s'attendre à avoir de moins bonnes performances (cf: github.com/TrelisResearch/install-guides/blob/main/llama-cpp-setup.md 2 tokens par secondes)

[@lsmpascal]

Merci beaucoup ! @pierrebittner