J'ai essayé de recoder ChatGPT. Voilà ce que j'ai appris...

Merci à Cast.ai : l.cocadmin.com...
Formations: cours.cocadmin...
Newsletter: cours.cocadmin...
Rejoignez le discord: / discord
Twitter: / cocadmin
Instagram: / cocadmin
Tiktok: / cocadmin

[@cocadmin]

Est-ce que vous utilisez kubernertes ? Comment vous gérez l'autoscaling ? Merci à Cast.ai : l.cocadmin.com/castai

[@rougegorge3192]

Jul.... Le blanc africanisé. Sous le niveau de la mer. Impossible de faire de l'ia avec l'inverse de l'intelligence. Désolé pour le micro AVC j'ai vu ton clavier LGBT conforme à la propagande mondialiste. Je ne jugerai pas.

[@Manouzr]

Ok

[@MrWAVEGaming]

Merci Cast AI

[@ricain4691]

On a encore beauuuucoup de chose a apprendre sur l’IA, c’est que le debut je pence, Je serais curieux de voir le résultat de faire comuniquer une ia, avec une ia 😊

[@AimerAghate]

Bonsoir svp comment je peux téléchargé l'application prédictor aviator

[@mathieugoy2236]

Mec, c'est incroyable la quantité d'infos et de concepts que tu as synthétisés dans cette vidéo sans la rendre indigeste. Keep on with the good work!

[@chipsonsteroids]

Je tombe par hasard sur votre vidéo... et quelle bonne surprise, sûrement la meilleure à ce jour en termes d'explications. Maintenant on peut commencer à argumenter pourquoi il va être compliqué d'avoir des modèles de langage qui développent comme des experts. Si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ? Je ne dis pas que ce n'est pas possible d'avoir des IA globales ou meilleures que le meilleur des experts humains. Mais quelle est la relation entre X, Y, et Z ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage.

[@ludovicgardy]

Travail exceptionnel, merci pour ces explications et bravo pour le travail. En plus d'être informatif, le contenu est très agréable à suivre. Heureux de découvrir cette chaîne aujourd'hui.

[@johnn8643]

Il faut plus de youtubeurs comme toi

[@brabeatz197]

Excellente vidéo ! Je travaille actuellement sur les transformers, mais spécifiquement dans le domaine de la classification d'images pour mon mémoire et je tiens à souligner la qualité exceptionnelle de vos explications.

[@hugoremy1306]

Comme d'habitude, une masterclass de ta part. Tu devrais franchement faire + de vues

[@MyChannel00888]

Le montage est super bien fait 👌🏽 Quelle ascension ! Force à toi 💪🏽

[@olivierdiamy3579]

Salut Cocadmin, j'ai découvert ta chaîne ces jours ci et j'adore !! Tu as exactement ce qui manque à Chatgpt pour prétendre à l'intelligence, comme la perception du contexte, la vision haute, l'intuition et la mémoire du fil de conversation. J'en ai d'ailleurs "parlé" avec lui et nous sommes tombés d'accord. En fait pour prendre une analogie, chatgpt, c'est un peu comme un maçon, il sait assembler des blocs très bien, mais construire une maison, il en est incapable car il n'a pas idée du contexte, il ne comprend pas l'objectif ni l'usage attendu. Bref, il a conscience de ses propres limites, ce qui est déjà bluffant. On pourrait dire qu'il ressemble à ce qu'on attend des employés d'une entreprise : faire plutôt que comprendre, ce qui amène souvent à faire n'importe quoi... Néanmoins, la perte de conscience progressive des humains occidentaux devrait permettre bientôt à chatgpt de faire aussi mal qu'un humain occidental 🤔

[@pandaDotDragon]

Au sujet du grand remplacement: dans mon entreprise tous les outils se basant sur les outils deep learning & co sont bannis pour des raisons de confidentialité et de propriété intellectuelle. Pour faire mon dinosaure: il y a des années de ca les premiers IDE devaient remplacer les devs experts pour que des devs juniors puissent avoir la meme productivité. Puis les méthodes de conception merise, uml & co devaient elles aussi se débarrasser des devs pour se focaliser sur le design puis faire de la génération de code automatique. Puis les languages à base de machines virtuelles devaient permettre de faciliter le développement en ne demandant plus aux devs de savoir comment marche la mémoire ou le cpu. Puis les nouveaux IDE ont automatisés pas mal de choses (cf. Intelij qui s'occupe d'un peu tout) tout en améliorant l'existant (complétion contextuelle, refactoring, ...). Bref les devs sont toujours là (et le niveau des juniors est clairement plus faible qu'il y a 10 ans la faute à des programmes d'études ultra chargés: tout voir mais ne rien vraiment connaître) mais clairement l'IA dans les prochaines années va automatiser pas mal de choses et tout ceux qui ont actuellement un poste sans connaissances ultra technique et/ou fonctionnelles/métier vont subir le changement. De temps en temps je regarde une image en noir et blanc qui date de l'éclatement de la bulle internet "will code for html for food". Dans les années 90 toutes les grandes boites internet de la Silicon Valley (Yahoo, ...) utilisaient des armées de dev html... qui ne connaissaient pas grand chose d'autres. Quand les plateformes sont passés à du code généré (jsp, php, ...) ils ont virés ces milliers de personnes du jour au lendemain. A méditer...

[@cocadmin]

Merci d'avoir partagé ton experience, très intéressant :) Je ne pense pas que les dev vont être remplacer tout de suite mais a moyen terme je pense que le métier va énormément évoluer.

[@elytes96]

​@@cocadmin En fait le problème principal de l'intelligence artificielle va se poser là : Pour pouvoir créer un outil de A - Z avec une IA, il va falloir lui décrire à l'exactitude tous les micro-fonctionnalités de l'application pour que ça ait du sens, car n'importe quelle ambiguïté laissera champ libre à l'IA à l'imaginer comme bon lui semble, et décrire à l'exactitude toutes les micro-fonctionnalités ça a un nom : "Programmer". L'IA ne remplacera jamais des développeurs peu importe le niveau qu'elle atteint, car il faudra toujours pouvoir lui décrire techniquement comment ça doit fonctionner, et même si on atteint des niveaux délirants, il faudra toujours avoir des connaissances de comment ça fonctionne derrière pour pouvoir éviter des pièges évident et autres. Après peut-être que le futur transformera le code en simple prompts en langage naturel, mais il sera toujours long et laborieux de créer des logiciels, même si ça sera sûrement grandement facilité par l'intelligence artificielle.

[@chipsonsteroids]

A mon avis la question à se poser est la suivante: si on veut un modèle de langage qui soit plus performant par un facteur X (notion de performance restant à définir), quel est le facteur Y sur le besoin en infrastructure? Quel est le facteur Z pour la taille des données d'apprentissage ? Plus précisément, quelle est la relation entre X et (Y, Z) ? Logarithmique ? Linéaire ? Quadratique ? Exponentielle ? Si il faut multiplier par 10 la taille des infrastructures pour augmenter d'un facteur 2 la puissance d'un modèle de langage, on voit vite qu'il y a un problème. De même pour les données d'apprentissage. Le plafond sur lequel l'IA basée sur les modèles de langages va se taper la tête pourrait très bien venir de là.

[@ninohdasilva7039]

Très bonne vidéo de vulgarisation sur le sujet, avec une présentation et un montage bien soignés. J’aime beaucoup ton approche. Quelques petites précisions/ remarques : - 124 millions de paramètres c’est pour la version small de GPT-2. Quand on le mentionne sans préciser on parle plutôt de celui a 1,5 milliards. - Pour les paramètres de GPT-4, je ferais preuve de prudence au moment de parler chiffres. Même si les sources peuvent paraître crédibles, OpenAI a déjà menti par le passé et on sait pas s’ils utilisent tous les supposés modèles en même temps etc. - GPT 3/3.5 peuvent avoir jusqu’à 4096 tokens dans leur fenêtre de contexte, et pas 2000. Même si lorsqu’on utilise la web app il y a déjà une partie utilisée par OpenAI avec leur prompt.

[@fredrichstrasse]

J'ai appris beaucoup vraiment top cette video, une petite demos de ce qu'est le fine-tuning et les models LLM en open source sur huggingface serait fort instructif en tout cas merci pour cette video passionnante et de qualité

[@CARRINGT0N]

Avec Kubernetes, l'autoscaling peut être géré en utilisant la fonctionnalité intégrée d'autoscaling horizontal (Horizontal Pod Autoscaler, HPA). L'HPA permet à Kubernetes d'ajuster automatiquement le nombre de répliques de pods (instances) en fonction de la charge de travail du cluster. Cela permet d'assurer que les applications sont toujours correctement dimensionnées pour faire face aux fluctuations de la demande. Par exemple, si tu gères l'autoscaling avec Kubernetes en utilisant l'Horizontal Pod Autoscaler, voici comment procéder : Tout d'abord, tu dois spécifier les métriques en fonction desquelles Kubernetes doit effectuer l'autoscaling. Il peut s'agir de métriques telles que l'utilisation du CPU, l'utilisation de la mémoire, ou des métriques personnalisées que tu as définies. Ces métriques seront utilisées pour évaluer la charge de travail du cluster. Tu dois spécifier les seuils de déclenchement pour l'autoscaling. Par exemple, tu peux définir un seuil d'utilisation du CPU de 70 %. Lorsque l'utilisation du CPU dépasse ce seuil, Kubernetes déclenchera l'autoscaling pour ajouter de nouvelles répliques de pods. Une fois que tu as configuré les métriques et les seuils, Tu peux créer un objet HPA dans Kubernetes en spécifiant les détails de l'autoscaling, tels que le nombre minimal et maximal de répliques de pods que tu souhaites. Une fois que l'HPA est en place, Kubernetes surveille en permanence les métriques spécifiées pour évaluer la charge de travail. Si les seuils sont atteints ou dépassés, Kubernetes ajustera automatiquement le nombre de répliques de pods en conséquence. L'utilisation de l'Horizontal Pod Autoscaler dans Kubernetes facilite grandement la gestion de l'autoscaling, car il s'occupe automatiquement d'ajuster le nombre de répliques de pods en fonction de la charge de travail, ce qui permet de maintenir les performances et de faire des économies de ressources lorsque la demande diminue. J'espère t'avoir aidé! Ciao!

[@cocadmin]

Thanks! C'est effectivement une bonne solution, est-ce que l'horizontal pod autoscaler peux gerer plusieurs type et/ou tailles d'instances ou ton cluster doit être homogène ?

[@CARRINGT0N]

@@cocadmin L'Horizontal Pod Autoscaler (HPA) dans Kubernetes peut gérer plusieurs types et/ou tailles d'instances au sein d'un cluster. Le HPA est conçu pour ajuster automatiquement le nombre de répliques de tes pods en fonction de l'utilisation des ressources, telle que l'utilisation du CPU ou de la mémoire. Il ne se soucie pas de la taille spécifique de chaque instance, mais plutôt de l'utilisation globale des ressources par les pods. Ainsi, tu peux avoir des nœuds (instances) de différentes tailles dans ton cluster, et le HPA s'adaptera en conséquence en augmentant ou en diminuant le nombre de répliques de tes pods pour répondre aux besoins de charge. Cependant, il est essentiel de garder à l'esprit que certaines apps ou charges de travail peuvent avoir des exigences spécifiques en termes de ressources ou de capacités matérielles, et cela peut influencer ta décision sur la configuration de ton cluster Kubernetes. Tu dois t'assurer que les différents types et tailles d'instances disponibles dans ton cluster peuvent satisfaire les exigences de tes apps pour une mise à l'échelle efficace. PS; Y a pas que des gars qui te suivent comme tu peux voir, alors au début de tes vids, pense aussi à saluer les filles! LOL

[@ViaFreshClix]

Vous êtes incroyable, continuez comme ça !!!

[@Dragnalith]

Cette vidéo à le niveau de détail parfait pour une introduction technique à l'IA et aux LLM. Ça souligne les grands concepts mais ça reste concis, et ça pointe vers des resources si on veut reproduire soi-même. Merci !

[@landwillys7890]

Super boulot et des explications parfaitement claires. Félicitations !

[@imgrootuwu]

Et d'avoir une sorte de super IA open source et en peer to peer, genre un peu comme les torrent, ou la blockchaine, mais en gros chaque personne telecharge une application sur son PC pour entrainer UNE SEUL MEME IA collective

[@monsieursoze4859]

ça engrengerait trop de données je trouve ça dangereux d'autant centraliser l'information du pdv ethique et sécurité

[@imgrootuwu]

@@monsieursoze4859 Tu parles detique, ben pas sur que de centraliser sois ethique car une seul et meme entiter choisis de censurer ce quil veut, alors que de mettre 0 censure, naurais pas ce probleme. Pour qui nous nous prenons pour cenuser ou pour dire que quelque chose nest pas acceptable. Les moeurs et coutume de differant pays ou civilisation sont bien differante et certaine chose que nous europeen trouvons pas etique peut letre pour certaine personne ou dans certaine coutume. Censurer par une seul et meme entiter reviens a un systeme de dictature. un systeme ouvert serais plus benefique, et rien emepeche apres davoir des multiple de systeme parallele a ce systeme avec des filtre de censure propre a chaqu'un on peut meme imaginer que certaine pays autoriserais que leurs propre version de ce systeme avec leur censure, mais le noyau doit etre 100% libre, ouvert et sans censure.

[@sticot1921]

Salut, j'ai eu la même idée y'a peu de temps aussi, une chaîne qui m'a aussi beaucoup aidé à comprendre l'IA c'est Machine LearnIA, c'est en français et plutôt bien expliqué

[@breheem]

Encore 23 minutes de pur bonheur et d'apprentissage ! Bonne vidéo à tous 🤣

[@snaporteur1578]

Pareil

[@cocadmin]

🙏🏽

[@c0smoslive391]

Tant que l'IA ne comprendra pas ce qu'elle fait elle ne remplacera personne.

[@digelQ8]

cette phrase a aucun sens

[@printvoyageur4386]

@@digelQ8 bas si, cela insignue si j'ai bien compris vos propos que celle ci ctrl + c du code et n'évolura pas ne fessant que des ctrl + c bien organiser :). Pas comme nous ou on pourrait en comprenent se qu'on ferait résoudre des problemes de p = np

[@c0smoslive391]

@@qui3573 Personne n'a dit que c'était pas un bon outil, il faut réfléchir avant de taper sur le clavier.

[@digelQ8]

@@printvoyageur4386 c'est une IA generative, elle ne fait pas que copier du code et bien l'organiser, elle crée à partir d'un modèle statistique, ce qui implique qu'elle est capable de découvrir des relations logiques qui ne sont pas directement inferable dans la base de donné. Le terme clé ici est "directement". Toute forme de création est nécessairement un patchwork de connaissances préexistantes, avec ces IA on approche d'un degré de sophistication de ce patchwork qui ressemble diablement aux capacités d'inférence humaines i.e. Comprendre les émotions d'un texte, faire des maths etc.

[@eddo4life]

Chatgpt est capable de debugger votre code de merde en moins d'une minute et elle ne sait pas ce qu'elle fait? PATHÉTIQUE!

[@cordialement4383]

« J’ai pas de table » Lourd 😎

[@hegelmotokoua]

Le montage de la vidéo est nickel !

[@buddysdz]

C'est peu dire, le montage est ouf !

[@benjaminanthone3043]

Incroyable boulot! Tu gères. merci beaucoup !

[@Qual_]

pour des dataset de instruction finetuning tu devrais regarder du coté de LLAMA, Alpaca dataset etc, c'est des dataset a base de questions réponses.

[@cocadmin]

Thanks! ils sont diponibles facilement ?

[@printvoyageur4386]

@@cocadmin Alpaca est open source il me semble

[@FLMNH]

il y a yahoo answere et stackoverflow il faut un peu de traitement pour extraire la réponse en quelques mots mais cette tache en linguistique on sait le faire... mais il doit y avoir d'autres site qui permet d'avoir des questions/reponses

[@charliebrown94270]

Il y a Cora qui fait ça.(pas la chaîne de supermarchés!😅)

[@misterfrog3163]

- Convolution: * Action de convoluter, enroulement ensemble depuis un sommet, en papillote. * (Mathématiques) Opération qui consiste en la combinaison de deux fonctions. Sinon nous avons des CIRconvolutions dans le cerveau, ce qui semble logique dans un contexte où l'on parles de logiciels utilisant des couches de neurones artificiels :) Après "voluter" et "convoluter" n'est apparemment pas la même chose, vu qu'une "volute" (de fumée par exemple, qui... VOLe) n'est pas en forme de papillote mais de spirale.

[@hugocaetano5865]

Masterclass la vidéo, cimer ! D’ailleurs tu fais l’erreur (volontairement ou non) de dire chat-gpt 4, chat gpt 3, etc. mais faut bien différencier le modèle, à savoir GPT dans toutes ses versions (GPT-2, GPT-3.5, etc.) de l’application d’openai qui est chatgpt, et qui est juste plus ou moins une interface avec des appels aux modèles GPT, un peu de front, etc.

[@benben2846]

Super merci, plein de réponses à mes questions sur les LLM, c'est cool ! dire qu'on a Pi sur le tél désormais et c'est une IA très sympatoche, presque une amie ^^ MERCI ...Abonné, trop fort et trop cool tu es..Bravo pour ton travail et ton partage👌👍

[@nathn1680]

Excellente vidéo très complète et bien expliquée, bravo!

[@MadChat303]

Tu m as tuer avec JUL 🤣🤣🤣

[@speculosquoi6187]

Salut, super video, j'ai vraiment aimé. J'espère que tu feras un épisode 2 sur un autre type d'IA. D'ailleurs, ca serait possible d'avoir le Github de ton code stp

[@TheRanid]

Le gars a codé JULGPT et a chanté lui meme🤣! Cocadmin président !!!

[@MrThomas19995]

Vrai trop bien les 4 épisodes

[@victorbeaulieu5925]

J’adore. J’aimerais ca que pour ta prochaine video tu essaie de cloner une carte opus(carte de transport artm au quebec) pour le mettre sur apple pay

[@guymerlindyangnou117]

C'est trop top ta vidéo bravo!

[@axelb423]

Une IA ne pourra jamais nous remplacer sur un projet custom, qui mélange plusieurs langages, dont le métier ignore lui même parfois ce qu’il veut et où le projet contient des 100ene voir milliers de fichiers dans des langages pas forcément typé et simple à retracer. Puis même si elle était capable de faire des choses aussi complexe il faudrait quelqu’un pour la diriger, écrire les prompts, vérifier le code, les possibles régression, les mauvaises interprétations, etc. Même avec des spécification ultra détaillée il n’est pas rare de devoir faire appel au product owner et de demander plus d’info au métier pour combler un manque d’info cruciale ou imprévue en cours de route. Bref ça fait beaucoup à maîtriser pour pouvoir nous remplacer et la liste pourrait être énormément plus longues sur des sujets tout aussi complexe et pas forcément lié à l’écriture de code pure (QA, code review, déploiements, etc.).

[@voltoz2746]

T'as raison man, de Shakespeare à Jul ...il n'y a qu'un ..tunnel? Et .. quelques siècles ? Quelle "TroLL" de données d'entraînement semblerais je penser ..sans dépenser me diras tu? Serait ce de la sorte possible, alors..qu'afin d'aiguiser les mélodies de la starnaque de demain sur une base de pink floyd, l'on puisse a l'occasion (entre 2 shorts) , créer une musique novatrice incontournable et "bankable", sur des LLM de la musique de Brawl Stars? On se le demande...ou l'on demande a l'iA ?! LoL.. tu m'as bien fait rire, toujours intéressant, merci 👍

[@elbgFr]

le grand remplacement bien placé.......Haaaaaaaaaaa...tu m'as tué !!!

[@jeffersonjean-claude3909]

Sur quelle plateforme tu a louer la machine avec les gpu a 20000 balle

[@cocadmin]

j'ai utiliser vast.ai c'est bcp , moins cher que aws ou azure. beaucoup plus de dispo aussi.

[@samiam5810]

Merci pour ces infos. Bonne continuation surtout. À tutti 😊

[@adrien845]

Est ce qu'une RTX3080 (non TI) est suffisante pour entrainer un modèle ?

[@cocadmin]

j'ai entrainé pendant 1jour sur 8x 4090 dons 1 3080 c'est léger. Mais pour du finetuning ca suffit largement.

[@adrien845]

@@cocadmin Ok merci 👌

[@first-info]

Comme d'habitude c'est génial continue 👍

[@ReySinnBAD]

Très bonne vidéo continue t’es dans le thème

[@loicchatelainmbolle7410]

Bravo pour le boulot @cocadmin pour avoir synthétiser tout ça, c'est l'une des meilleures vidéo que j'ai vu sur youtube

[@samirsaci6723]

Fiouwww, merci pour cette masterclass.

[@StrudelAt]

1:41 je ne suis pas expert mais il me semble que la traduction n'est pas très exact. Tu m'a tué 😂😂😂😂😂

[@resolvetv0]

Je voulais savoir après avoir entraîner le modèle il faut toujours l'heberger? Ou on peut l'utiliser localement ??? Et je m'abonne continuez dans cette voie Fréro

[@cocadmin]

je l'utilisais en local, c'est un peu plus lent mais ca passe

[@yudelko]

une question: quel retour economique as tu eu de cettte experience ?celle de coder un gpt2

[@-unknown-369]

Est-ce que ton modèle d'I.A. est disponible en téléchargement ? C'est pour mon ami geekeur ^^

[@cocadmin]

jpeu pas upload le model (github accepte pas les fichier de + de 100mb )mais j'ai mis les dataset ici github.com/ttwthomas/nanogpt

[@ninohdasilva7039]

@@cocadminnormalement l’architecture nanoGPT est complètement compatible GPT-2 donc c’est peut-être possible de publier les poids sur Huggingface

[@gmod-addons]

L'intelligence artificielle est un outil, et le métier de développeur évoluera avec elle, mais non sans les développeurs.

[@Peckker]

enfin une nouvelle vidéo que j'attendais

[@texy974]

Enorme video!!!

[@Chris-M-s9d]

JUL JUL JUL :p tu me régale j'adore ta chaine :)

[@SaidLeRetour]

Salut merci pour ta vidéo instructif ! Je me demandais si les ordinateur quantique ne sera pas (plutard) la solution pour les architecture dédié IA ?

[@cocadmin]

c'est pas impossible

[@SaidLeRetour]

​@@cocadmin Pas possible aujourd'hui ou pas possible du tout ? lol je dis sa parce que en physique quantique les matériaux peuvent changer et j'ai vue que aujourd'hui on peut stocker des données dans des molécules qui ont des propriétés quantique.

[@masana_]

Le Grand Remplacemebt m'a tué 🤣🤣

[@testizoizo7373]

Super vidéo bonne vulgarisation sur un sujet pas simple 👍

[@joxjuwar4713]

à votre avis, est ec que commencer de A à Z a apprendre l informatique et la programmation, ca en vaut encore la peine aujourd hui, sachant que ca prend du temps et que comme cocadmin l a dit au debut de la video, les intelligences artificiels pourront probablement prendre le relais plus tard ?

[@anthonyd5377]

Bonjour, j’aurais aimé savoir sur quelle interface tu codes du python ( dans cette vidéo )

[@cocadmin]

Vim/tmux, vscode ou Google collab

[@iwokssama4772]

Excellente vidéo de vulgarisation. Cependant, tu ne peux pas dire que le modèle Transformer est basé que sur 300 lignes de Python. Parce que je suppose que tu fait référence à la structure basé sur du pyTorch.

[@cedricfontaine6326]

As tu essayé de jeter un oeil sur llama2 qui est open source et qui peut tourner sur ton laptop ?

[@dlep9221]

Sacré boulot, bravo !

[@sofiyan_ifren]

Très bonne vidéo frérot, excellente vulga 👌

[@MadChat303]

Franchement je suis choqué de ce que tu as codé 🤯BRAVO 🥳

[@aiezenberg]

TinyJul est dispo quelque part sur un repo git ? J'aimerais bien l'utiliser pour faire des test ça a l'air dingo mdrr

[@Kata_Marrant]

Hola rien qu'au titre de la vidéo je sens qu'on va bien samuser. Au fait, tu peux me dire ta config PC stp ?

[@TheAnbohan]

@8'13 Salut, video trees sympa! cette methode dont tu dois parler, c'est pas le Transfer Learning? Tu peux recuperer les parametres d'un modele et tu les entrainent sur tes propres donnees...

[@cocadmin]

oui c'est similaire sauf que pour le fine tuning tu réentraine tous les layer du model pour ta nouvelle tache, pas juste les layer les plus haut.

[@faiI2ben]

Penses-tu qu’avec le fine-tuning + tweak de température, les questions/réponses auraient été plus pertinentes ?

[@cocadmin]

une des etape dont j'ai pas parlé est une étape de reinforcement learning apres le fine tunning. Ou en gros tu generes plusieurs reponses et tu demande a un humain de choisir la meilleure et tu pousser ton model a donner des meilleures reponses.

[@mytyang1248]

trop intéressant ça donne envie de se faire son petit gpt maison

[@cocadmin]

yep, l'ideal c' est de prendre un gros model comme llama et fine tune sur ses besoins exactes :)

[@mytyang1248]

@@cocadmin oui mais avant ça va falloir se plonger un peu dans le truc pour pas finir par juste copier un git lol

[@zelectron1]

Et l'AI appliquée à la conduite automatique des véhicules ?

[@jonrods3415]

Excellente vidéo! Merci

[@GlobZOsiris]

L'intérêt le plus grand de l'IA ça sera surement pour optimiser le code informatique, que cela soit en terme d'apprentissage, de vérification, et d'optimisation (propositions de solutions alternatives avec leurs avantages et inconvénients). On peut même imaginer des langages informatiques qui soient créés par de l'IA, afin d'empêcher toute faille de sécurité, rapide et économe en mémoire.

[@Ctrl_Alt_Sup]

Dans tous les cas c'est la capacité à collaborer avec les IA qui fera la différence. Je ne crois pas à des métiers totalement remplacés par les IA ou des métiers qui se passent totalement des IA...

[@GlobZOsiris]

@@Ctrl_Alt_Sup Absolument. L'idéal ce n'est pas la dépendance et le remplacement de l'humain par l'IA, mais la coopération entre l'humain et l'IA (avec la capacité de l'utiliser en pilotage automatique pour certaines tâches à certains moments).

[@antmdh]

Bravo pour la vidéo. Franchement

[@toubippc]

Perso.. Yann Lecun, après avoir suivis quelques conf, j'ai capté le raisonnement qu'il a eu et comment on l'applique techniquement. Sinon, je me tate aussi pour installer une petite IA, toutes faites, pompé sur Github, et essayer de développer.. .. .. une sorte d'API ou je pourrais balancer la sortie d'applis standart, pour améliorer les résultats ou augmenter le nombre de fonctions, filtres, etc .. ( J'essaie toujours de conceptualiser le "truc" ) Mais c'est clair, cette techno, ca fait vriller ..🎉😁

[@kantumcaku6744]

chez toi meme la pub est intéressante. si tu veux en faire plusieurs sur le sujet, je suis preneur.

[@cocadmin]

Haha thanks 🙏🏼 Est-ce que t'utilises kubernetes ?

[@Kayoux]

C est vraie que en téléchargent q Un apk un hacker peut avoir un contrôle totale sur notre Phone??

[@nooneknow_1705]

« Tiny Jul » 😂 encore une master class !!! 😉

[@TheCyberSeb]

Excellente la vidéo 👍👍👍👍 Merci, toujours un plaisir de regarder vos vidéos.

[@SkanderAitAbbas]

Très bonne video

[@DavyB76]

un pti code promo pour les formations? :)

[@Alorsondev]

Super pédagogie !! Merci boss

[@cocadmin]

🙏🏼

[@fatbikerider66]

Allez, demain, "l'IA" nous explique la physique quantique ? "vivement demain" ! CQFD 2°

[@cosmonaute7680]

Bravo et merci

[@fmenguy]

Ah bah tiens elle tombe très bien cette vidéo, j'ai vu que les deux premières minutes et je me pose exactement les mêmes questions. Je regarde la suite.

[@Misakalou]

MERCI FRERE

[@roby2052]

Possibilité qu'on ait accès à TinyJul ? Au moins le fichier .txt x)

[@charleyluckey2232]

Bonne vidéo. Mais permettez-moi de parler de quelque chose d'important : je vois beaucoup de jeunes et moins de jeunes faire des erreurs que je pense qu'ils ne devraient pas faire. Je crois que tout le monde, jeune ou vieux, devrait avoir un plan d'affaires qui fera passer son rendement financier de trois chiffres à six chiffres. L'investissement peut être votre projet de retraite ou votre projet d'avenir, comme vous le souhaitez, mais le plus important est que vous ayez un investissement qui en vaut la peine.

[@charleyluckey2232]

Investir sur le marché des cryptomonnaies Forex nécessite un professionnel pour vous guider afin d'éviter les pertes car les signaux ne sont pas vraiment faciles à lire c'est pourquoi vous devez investir avec un expert pour obtenir un meilleur profit

[@charleyluckey2232]

Il est sur Instagram

[@riggsmartins4033]

Lorsque vous arrêtez d’investir alors que vous êtes encore actif au travail, vous finirez par le regretter à l’avenir

[@cavalfou]

Tu viens faire ta pub ici serieux ? Comme si l'économie allait tenir la route dans les prochaines années... ecoutez pas ce charlo. Investir c'est croire en l'avenir, vous faites ce que vous voulez apres.

[@Thewhite17]

très cool tout ca!

[@zenlaflemme5728]

Très bon travail mais par contre l'utilité de 8 RTX pour un script python 🤣🤣🤣🤣🤣🤣 Il faut que tu apprennes l'existence du GIL et même sans ça tourne sur CPU (ou alors tu vas galérer à le bypasser si t'es pas dev)

[@Ctrl_Alt_Sup]

Ha ha ha extra ton intro 🤣

[@willydelyon]

Merci ;-)

[@ghislainleclerc6096]

Tu relances le même défi avec stable diffusion ou mid Journey 😅

[@ACELESTDEV]

Meilleur video 2023 hahaha !

[@leovedrine9102]

Mais avec les GPU quantiques, la limitation va disparaître non? :p

[@tri-forRTM]

Hey pas mal le montage adj

[@Rizzlas]

Je me demandais , avec les avancées actuelle des IA et leur capacité à résoudre certains problèmes informatiques / réseaux avec une simple question . Doit-on s'inquiéter en tant que Technicien , d'être remplacé d'ici peu via l'automatisation de tâches de maintenances , et résolution de pb informatique en demandant tout simplement la réponse à une IA ? Si quelqu'un a des éléments de réponse potentiellement ou des théories sur le sujet je serais ravi de les lire :)

[@ahmed1180]

D'où provient l'information que GPT-4 possède 1,7 trilliards de paramètres ? Car à ma connaissance OpenAI n'a jamais voulu divulguer cette information.

[@cocadmin]

george hotz a leaké l'info et plein de gens on confirmé derriere. Techniquement c'est 8 models avec 220m de param chacunes

[@lieuactueljerome8894]

C’est super chatgpt

[@valerysimo5979]

Pourquoi ne pas creer un dataset avec le besherelle ? Un livre de conte ?

[@androlink4469]

Ca peut donner quoi si tu l'entraîne avec les textes qu'il te sort

[@flashnews2041]

Salut te serait-il possible de nous donner la liste des outils que tu as utilisé et la conf de ton portable?

[@cocadmin]

pas d'outils outre que ce repo github.com/ttwthomas/nanogpt mon laptop c'est un mac m1 de base. Pour le training de gpt2 j'ai loué une machine avec 8x rtx4090 pour 24h. Pour le finetuning j'ai pris 1 seule 4090 sur 30min suffit. Pour les petits models et pour l'inference ca passe sur le mac

[@flashnews2041]

@@cocadmin merci beaucoup

[@gerismbougou9326]

Merci