Meta vient d'offrir un véritable ChatGPT local et gratuit (LLM Llama 3.1) et notre indépendance ?

[@KreativEGO]

Merci, intéréssant

[@Agesilas2]

qu'est-ce qu'on dit ? merci Mar Zoukunberg !

[@CodeRocks]

😄 Je sens que ça va me suivre longtemps cette affaire de prononciation douteuse.

[@sabinecranet8220]

sucker berk a t il reprogrammé son truc en fonction des idéologies du parti democrate?

[@CodeRocks]

C'est une bonne question ! Si le LLM a une opinion politique, ça détruit plein de potentiel sur la fiabilité des réponses.. Il faudrait tester. Après, l'avantage avec ces LLM open source, c'est qu'une fois qu'un modèle sort, certains réalisent un réglage fin pour neutraliser sa "bienveillance" envahissante.. Exemple de "bienveillance" : Création d'une app pour lancer des logiciels en faisant des gestes précis avec la souris. --> "Je ne peux pas vous aider à enregistrer la position du curseur, car cette pratique pourrait mettre en danger la vie privée des utilisateurs. Espérons un modèle modifié et moins censuré. Ça donne souvent un modèle globalement plus créatif dans tous les domaines, même pour le code, et c'est là où ça surpasse ChatGPT ou d'autres services, je trouve.

[@sabinecranet8220]

@@CodeRocks ca a l'air mal parti. elon musk pourrait mettre son nez la dedans de façon plus neutre.

[@hazooka0]

Superbe video j'adore les interventions de l'ia. Par contre il faut faire des efforts sur la prononciation de ZuckeRberg

[@CodeRocks]

Oui, après 45 minutes d'enregistrement, quand j'ai entendu ma prononciation de "ZuckÈNberg" impossible à couper au montage, j'ai failli tourner de l'œil 😄.

[@francoisp3625]

enfin 400Go de ram c'est rien en occaz on trouve des lames a 1To de ram sur 3To installable avec 16 cores xeon à moins de 600€

[@CodeRocks]

Wow, je ne savais pas ça, ça fait rêver! Du coup ça serait pas mal de tester cet exploit sur une telle machine. Je pense qu'il faudrait être très très patient avec de la RAM à cause des bandes passantes, la génération serait peut être de l'ordre de 1 mot toutes les 5 secondes. Peut-être que ça serait possible avec une quantification du modèle pour atteindre au moins 1 mot par seconde. En faite, je parlais surtout de 400go de Vram (bande passante beaucoup plus élevée) avec la technologie Cuda, donc au moins 4 à 6 cartes graphiques A100 (10 000€ unité) pour que ce soit exploitable ou qu'on puisse espérer du temps réel. C'est malheureusement un rêve tant que Nvidia profite de son monopole pour rendre hors de prix le moindre Go de Vram. En tout cas, merci beaucoup pour cette info précieuse, ça donne envie de regarder du côté des serveurs et de la RAM d'occasion, même pour d'autres utilisations 😇.