Nvidia offre une IA qui génère de la 3D ! (Et c’est que le début…)

[@CH35H]

C'est génial ! Super trouvaille et trop hâte ! Les LLMs dans la générations 3D, ça va être la révolution, il suffira juste d'acheter une imprimante, une discussion plus tard et voilà l'objet voulu.

[@CodeRocks]

Ah, de l’enthousiasme, ça fait plaisir ! ✨😄 Ça me rappelle qu’il existait un outil IA, moins connu, développé en open source par OpenAI pour générer des objets 3D. J’avais testé ça il y a un an, et il traîne encore sur mon ordinateur (une horreur à installer). Peut-être que je pourrais comparer ses résultats avec ce LLM... si j’arrive à le faire fonctionner à nouveau et que j’ai un peu de temps .

[@cslevine]

là où je commencerai à me servir de l'I.A. en 3D, c'est quand depuis une vidéo, ou même un scan 3D avec le LIDAR de mon iphone Pro 12, ou mieux : avec les 2, c'est à dire les fichiers .FBX, + les vidéos .MP4, + des explications de moi indiquant : "ça ce sont les murs, ça c'est le plafon, ça c'est un meuble à tiroir, une table, une fenêtre une chaise... ) et bien l'I.A. prendre les commandes de Blender 4.2 qu'elle saura utiliser, et : 1. m'assemblera les puzzles pour reconstituer les pièces 2. comprendra ce qu'il faut simplifier en murs, = les aplanir en tant que rectangles parfaits, pour comprendre ensuite qu'il faut lui mettre le papier peint à sa place, savoir ce que sont les meubles, les modéliser même à partir de schémas de meubles qu'elle saura "interpréter" et intégrer pour adapter à partir d'un meuble générique, j'aurai alors exactement LE meuble à tiroir compris dans son fonctionnement, idem pour les fenêtres, etc. 3. Nommer correctement les objets dans la liste des MESHS, et les agencer de façon compréhensible, aussi, comprendre qu'un plan de maison ou d'appart c'est en général basé sur une grille parallèle, ainsi corriger les "dérives" du LIDAR et faire comme un "plan idéal" d'architecte, dans lequel tous les murs sont bien parallèles ou perpend. 4. j'aurai au final un fichier Blender de faible taille, optimisé, et dans lequel je pourrai même animer les éléments !

[@francoisp3625]

ça marchait déjà avec chatGPT pour les modèles 3D parametiques ..... quelque soit le format ... par exemple OpenScad

[@CodeRocks]

Je suis tout à fait d'accord. La génération 3D existe effectivement depuis un moment avec les grands LLM. Mais ici, la prouesse réside surtout dans le fait d’avoir intégré cette capacité dans un LLM suffisamment compact pour tourner sur un ordinateur grand public. Il y a aussi cette histoire fascinante de modification du dictionnaire de tokens, et ça ouvre des questions intéressantes : - Est-ce que la syntaxe OBJ intégrée devient une véritable sémantique dans le vocabulaire du LLM ? - Peut-il mélanger la 3D et l’expression pour communiquer à un niveau plus profond ? - Parler d’une balle, par exemple, pourrait-il l’aider à comprendre la forme d’une sphère et influencer ses réponses futures ? ça dépasse mes compétences, mais ça m’intrigue beaucoup. Et si Nvidia travaille sur ce projet, c’est probablement qu’il y a un intérêt réel derrière.

[@cestcholeschoishow6250]

Super, très bonne chaine que je découvre, mais pourquoi diable, l'algo de KZbin me suggère des chaines bidons sur des sciences mystiques dont j'en ai que faire, alors qu'il y a des pépites. Merci je m'abonne.

[@CodeRocks]

Merci beaucoup, c'est très gentil ! Disons que je partage suivant mes envies (diverses) et que l'algorithme n'aime pas ça 😁. Oh, génial ta vidéo sur "Les Cités d'or, le vol du grand condor remix", je l'écoute actuellement pendant que je réponds aux commentaires :) . J'adore cette sonorité rétro-wave des années 80. Merci pour ce moment agréable !

[@cestcholeschoishow6250]

@@CodeRocks Merci, réalisé entièrement par IA, je tâtonne en ce moment le potentielle créatifs de ces IA, et je me régale des vidéos de ta chaines..

[@DEN2REQUIN]

Ta vidéo est folle ! Waouh tu gères Juste une petite question très importante ceci dit. Faire tourner un LLM chez soit en locale? Est ce que c'est sécurisé ? Tu peux te faire pirater , je sais pas, qu on prenne le contrôle de tes fichiers. Réponds stp Comment être sûr que le LLM est safe ( bon la c NVIDIA donc normalement pas de souci). Mais la question se pose quand même, c'est nouveau tout ça 😢

[@CodeRocks]

Ha ! tu poses une très bonne question ! En revanche, je pense qu’il y a un mélange entre plusieurs types de risques qui ne ciblent pas forcément ton cas d’utilisation. et même si le point 2 est rassurant, n'oublie pas de lire le point 3 😄 (en espérant qu'une personne spécialisée en cybersécurité me reprendra ensuite) : 1. Si tu utilises ou héberges un LLM en ligne, il peut effectivement être vulnérable au piratage. Deux types d’attaques sont possibles : - Attaques humaines : Un attaquant peut manipuler un LLM mal configuré pour accéder à des données sensibles (c’est ce qu’on appelle des attaques par ingénierie sociale ou "prompt injection"). - Failles techniques : Comme tout logiciel, un LLM peut être ciblé par des attaques classiques (exemple : injection de code). Si tu rends un modèle public sans une bonne sécurité, cela peut poser problème. 2. Si tu fais tourner ton LLM sur ton ordinateur, c’est une autre histoire : Pas de connexion = pas de piratage externe : Pour qu’un attaquant accède à ton LLM, il faudrait déjà qu’il ait accès à ton ordi. Si c’était le cas, tu aurais déjà d’autres problèmes bien plus sérieux ! 😅 Un LLM ne "contrôle" pas tes fichiers : À la base, un LLM est juste un programme qui génère du texte. Il ne peut pas toucher à tes fichiers sauf si tu as ajouté un script qui le permet (par exemple, un code pour ouvrir un fichier quand il répond une commande particulière). Donc, tant que ton ordi est sécurisé et que tu ne partages pas ton LLM avec tout le monde, c’est safe. Si tu es encore inquiet, tu peux couper le WiFi pour être totalement serein. 3. ATTENTION quand même aux fichiers téléchargés : Comme pour tout programme téléchargé sur le web, il y a un risque que certains LLM contiennent des malwares (même si c’est rare). Par exemple, il y a eu des cas (dans mes souvenirs) de modèles génératifs de sources inconnus contenant des malwares dans le passé (notamment avec Stable Diffusion). Au pire, télécharge toujours les modèles officiels ou de sources fiables. Après, je ne suis pas expert, c'est toujours à prendre et à vérifier, tu peux aussi en discuter et faire analyser ma réponse avec Chatgpt ou Claude pour savoir si j'ai tort quelque part.

[@idriss44]

Très bonne vidéo merci

[@CodeRocks]

De rien 🙂 et merci.

[@TheHackHim]

Super vidéo merci :) Depuis que je me suis lancé dans l'implémentation d'un auto-grad tensoriel sur GPU en C#. Je ne peut plus consacrer de temps à explorer toutes les nouveautés et dernier models. La code base du ML est un carnage que je n'avais absolument pas soupçonné ^^'. Si tu est intéressé pour comprendre le processus de modification des poids qui s'opère lors du fine tuning. Je te renverrais vers l'algorithme de la rétropropagation du gradient. Cette algorithme orchestre le calcul des différentes dérivées partiel. Plus exactement, comment on calcul la quantité (le gradient) d'erreur de la sortie. Pour ensuite propager ces gradients vers les couches supérieur. De couches en couche jusqu'à l'entrée. Pour ajuster les poids, la descente stochastique du gradient (SGD) couvre le sujet. Avex ça tu auras de quoi entrevoir les entrailles du Deep Learning je pense :). Autant pour comprendre le processus d'inférence, je pense que commencer par voir la régression linéaire et la régression logistique clarifie beaucoup de chose. Tout en exposant la beauté des réseaux de neurones artificiels :). Une intuition de ce que sont le latent aide aussi. Avec l'utilisation de la régressions logistique, on observe comme on peut corriger un model simple qui relie l'entrée et la sortie. Quand une couche caché est ajouté. La sortie de la couche caché n'est pas contraint par des données réelles. Contrairement a la sortie. Les gradient de la couche caché et sont comportement font que l'on entre dans un espace latent. La sortie est considérer comme un hyper vecteur porteur d'un information latente. Tu t'es intéressé au "Semantik Kernel" ou aussi "LangChain", et les system multi agents ? Encore merci pour cette vidéo :)

[@CodeRocks]

Wow ! Quel condensé d'informations ! Merci beaucoup ! Ça donne tellement envie de creuser tout ça. Malheureusement, je manque un peu de temps en ce moment... Pour l'instant, je n'en suis qu'à la surface, sur les aspects les plus "faciles" et accessibles à la fin de la chaîne (développement, expérimentation). Il y a déjà tellement à explorer et essayer, sans parler des nouvelles découvertes qui arrivent en permanence... que parfois, c’est presque paralysant. 😅 Pendant que je t’écris, je viens d’entendre parler de SANA de NVIDIA, qui a l’air impressionnant. Et une autre nouvelle sur Llama.cpp : ils annoncent possiblement une augmentation des vitesses d’inférence de 10 à 25 % sur les GGUF. C’est un peu comme regarder un match de tennis où les découvertes ne s’arrêtent jamais, et on reste là, la tête ébahie à suivre le mouvement. Pour LangChain, j’ai essayé très brièvement. Ça m’a donné envie de travailler sur un projet maison à but pédagogique : un système nodal d’agents, intégrant toutes ces découvertes moins connues, pour en faire un ensemble d’outils pratique. Bon... pour l’instant, je me contente d’expérimenter avec des solutions comme l’API de LM Studio. 😄 Merci encore pour ton message inspirant, ça motive vraiment à continuer à explorer ces sujets fascinants ! (je le garde dans mes notes).

[@TheHackHim]

@@CodeRocks C'est très volontiers :). Je passe mes journées comme "couteaux suisse numérique" pour un grand compte, et mes nuit à faire de la recherche informatique. Je suis pas forcement le mecs le plus fun de la soirée ;). Tu dev un peut ? J'aime pas le Python pour des raisons de spécialiste psycho rigide. Mais c'est un langage abordable pour des choses simple. A ma connaissance LangChain utilise la syntaxe JINJA en partie. Mais j'ai pas du tout regardé s'il on une interface code less pour fonctionner. C'est juste que c'est la porte d'entrée pour faire "réfléchir" un modèle :). En lui soumettant sa propre inférence et en donnant un avis critique par exemple, etc. Punaise... ça me fait pensé au LoRA à ajouter à l'équation -_-... et oui... "c’est presque paralysant". Bref ! Vivement la prochaine vidéo :p.

[@CodeRocks]

Oui, je développe un peu 👀. J’aime bien tous les langages, mais il faut avouer qu’aimer Python devient presque obligatoire en ce moment, surtout avec 90 % des projets IA qui s’y appuient 😄. Tu as soulevé un excellent point : LoRA n’est pas encore beaucoup utilisée avec les LLM, mais ça pourrait vraiment devenir prometteur. Et puis, le fine-tuning sur des modèles aussi petit (1B, 0.5B), c’est une super opportunité d’apprendre cette technique et de le spécialiser directement sur son PC, sans avoir à perdre 300€ en louant un H100. surtout sans garantie de résultat sur ce réglage fin 😁. Oui il y'a énormément de choses à explorer. Au passage, j’ai toujours un grand respect pour ceux qui disent ne pas être les "mecs les plus fun de la soirée", ce sont souvent ceux qui finissent par construire les choses les plus fun du monde ✨. Peu importe le niveau de connaissance ou la façon de s’y prendre, la possibilité existe pour tous ceux qui la cherchent, même dans les moments les plus improbables.

[@jojocraft73]

Bonne decouverte

[@CodeRocks]

Merci :)

[@cslevine]

Tout est réel. Tout, c'est à dire même ce qui est imaginaire : cela "a lieu". C'est la nature de cette réalité qui n'est pas forcément la même, ni celle que l'on croit comprendre. Un mensonge décrit qqchose qui n'a pas lieu dans la réalité du monde physique, mais l'imaginaire de ce mensonge a bien lieu dans l'imaginaire de la personne qui construit son mensonge, au même titre qu'un rêve. Et l'on peut se souvenir de ses rêves. Ensuite, c'est une "façon rapide de parler" lorsque l'on dit "ce n'est pas réel" : cela concerne un contexte précis. Un jeu vidéo 3D ou 2D est bien réel : on peut l'acheter, le copier, via une disquette, une cartouche, ou même un fichier. Mais les scènes qu'il représentent ne sont en général pas des transcriptions du monde physique dans lequel nous vivons : ce n'est "pas réel" dans ce contexte. Nul ne pourra se rendre sur l'île de Fortnite sur Terre. Ou bien, au contraire, les scènes tendent à représenter une copie du monde réel ( exemple : Flight Simulator ) mais là aussi ce sera toujours une copie, "non réelle" issue de la réalité... Mais cette copie fonctionnelle est bien réelle, vu qu'il est possible d'acheter et installer le jeu sur un ou plusieurs ordinateurs, physiquement réels. C'est en fait une façon de parler et de contexte. Aussi, une discussion... est réelle, puisqu'elle a lieu. il est par exemple possible de discuter avec un humain atteint de troubles mentaux, l'empêchant de comprendre le sens précis de qu'on cherche à lui dire... ou plus souvent, même, les quiprocos, entre 2 personnes de cultures différentes, de moeurs différentes ( et ce qui mène souvent aux conflits ) Ce qui n'est pas réel, est le fait qu'une I.A. basée sur une "pagode chinoise" soit réellement consciente du sens de chaque "token". Mais lorsque l'I.A. aura associé chaque Token avec non seulement une série d'images, de formes 3D, mais aussi d'odeur, de toucher, mais aussi d'usage, et pour celà, il lui faudra faire l'expérience de cet usage ( s'assoir en tant qu'humanoïde sur une chaise, tomber au sol, comprendre et ressentir la gravité, la chûte, se relever, intégrer ce qu'est une ligne droite, une courbe, ... une distance, comprendre ce que c'est une fleur : pourquoi et comment cela existe, exactement comme le fait un enfant de 1 an qui voit une fleur pour la 1ère fois de sa vie : comment intègre t'on , nous , les formes ? Pourquoi on trouve ça "joli" ?... ) A ce moment là, l'I.A. intègrera la conscience... et pourrait même incarner une âme : autre sujet. ( lié mais... )

[@CodeRocks]

Mens abscondita nuntium semper habet et invenisti eam ✨

[@cedvano]

Pas mal, mais si je comprend bien, les LLM peuvent aussi produire des images par entrainement ?

[@CodeRocks]

Pour du SVG, oui, c'est faisable. Pour des images PNG ou d'autres formats, en théorie oui, car tout type de donnée peut être converti en tokens. D'ailleurs, on voit une convergence vers des modèles multimodaux capables de gérer texte, image et même audio. Mais pour être honnête, je ne suis pas spécialiste en IA générative, je suis juste développeur, donc il faudrait valider ça par des connaisseurs. Les modèles génératifs d'images (comme Stable Diffusion) et les LLM partagent effectivement des bases similaires, les transformers. Donc si un LLM était architecturé et entrainé pour générer des images, ça serait possiblement.. un générateur d'image 😁(comme DALL-E).

[@tomsurviesurvival5845]

Merci !

[@CodeRocks]

Woah ! Je ne sais pas ce qui t’a motivé à faire ce don, mais un immense merci du fond du cœur 🙂 ! Je ne savais même pas qu’on pouvait recevoir des dons sans faire de live ! Tu as illuminé ma journée ✨ !

[@tomsurviesurvival5845]

@@CodeRocks Pour une fois que je vois une vidéo bien faites et intéressante , qui œuvre pour le partage de la communauté , et bien moi aussi tu m'a fait du bien à mon petit cœur, et si je peux aider à e que tu continues dans ce sens ...

[@sambienijunias1878]

interessant

[@CodeRocks]

Merci pour ton retour 🙂.

[@battlefield5]

Quand tu dis "le résultat est le même que si il y avait eu de l'intelligence mais le processus n'est pas l'intelligence c'est un entraînement" Je pense ne pas être d'accord avec toi, si pour toi c'est pas le résultat mais le processus qui compte, quel type de processus pourrait être de l'intelligence ? Qu'est une IA pourrait faire comme processus pour être intelligent selon ta définition ?

[@CodeRocks]

Oh, il ne faut pas le prendre mal. Je partage juste mon point de vue : j’ai pris ça pour de l’intelligence (humaine), mais techniquement, ce n’en est pas. Ce n’est que ma perception, pas une vérité absolue (d’ailleurs, quand j’ai dit que ChatGPT était intelligent, j’ai eu des commentaires qui disaient exactement le contraire 😄). En revanche, je n’ai pas dit que le processus comptait plus que le résultat, je pense même le contraire. Si un jour un LLM réagit à la perfection comme un humain et que l’illusion est parfaite, alors peu importe la distinction. Tu as raison, je ne peux pas définir l’intelligence, tout comme je ne peux pas définir la conscience ni même prouver que je suis conscient. Mais qui le peut vraiment ? Je ne prétends pas tout savoir, et c’est justement pour ça que je fais ces vidéos : je découvre et j’échange avec vous 🙂.

[@TheCassbob]

Je comprends pas le début, est ce de l'ironie ? Il n'y a rien d'obscure ni de difficile à trouver cela sur nvidia

[@CodeRocks]

Ce n’est pas de l'ironie, arxiv.org où le document est hébergé, c'est un coin sombre du web pour le grand public. Et puis, j'aimais bien l'idée de jouer sur l'opposition avec "lumière" dans le reste de la phrase ✨. mais est-ce vraiment important de parler de la forme 😄 ?

[@km-zy3ov]

Baleze!

[@CodeRocks]

Merci !