Dream Machine (Luma AI) : L’IA Vidéo qui anime tes Photos comme Sora

[@jeanviet]

Qui a testé Dream Machine ? Vous arrivez à créer des vidéos sumpas ? Partagez vos meilleurs prompts en commentaires

[@GrandSachemEthylique]

Non, ça pue clairement la merde pour le moment, mais on s'en doutait un peu, ces IA viennent de débarquer sur le marché et elles sont loin d'être performantes. Si les vidéos sur la page d'Open Ai Sora tiennent la route, et qu'ils n'ont pas menti sur la qualité des prestations, Sora se situe déjà nettement au-dessus de ce truc. Mais bon, on sait que ça va évoluer dans le bon sens, sauf si on se tape une guerre nucléaire avec la Russie entre temps et un formatage généralisé à la mégatonne supérieure, auquel cas, adieu veaux, vaches, cochons, et super IA. J'aimerais pouvoir donner "vie" à mon personnage avec ces IA un de ces quatre, mais pour le moment, c'est juste pas possible avec un truc plus proche de Neandertal qu'autre chose.

[@AndyMiland]

Cc, perso j'ai testé trois générations de Luma Dream Machine tout à l'heure à partir d'une photo que j'avais au préalable générée via Fooocus avec un swap de moi-même et malgré qu'il y ait eu une déformation de mon visage au moment où je tourne la tête, J'ai trouvé le résultat pas si mal pour un premier test. Je pense que cette IA est très prometteuse. Pour info, j'ai utilisé des prompts simples (mouvement de caméra etc) et pourtant ... kzbin.info/www/bejne/iGatdpunqZefgNU

[@jeanviet]

@@AndyMiland merci pour la démo. Tu arrives à maîtriser les mouvements de caméra. Ex : tu dis tourne la tête à droite, luma le fait ?

[@AndyMiland]

@@jeanviet En fait, le mouvement de tête...c'est Luma qui l'a fait aléatoirement. J'ai simplement ajouté deux mouvements de caméra

[@bause6182]

J'ai hâte de voir les ia de génération de vidéo des autres entreprises comme runway , midjourney , stability ai.

[@francoiscostard]

Salut Jean-Viet !!! J'espère que tu vas bien. J'ai donc testé Luma AI, et le premier résultat ; non concluant, avec un photo de moi de face en voiture... résultat ; je me retrouve avec une posture au plafond de la voiture.... Je vais continuer a testé cette nouvelle IA ce matin Bon week end à toi

[@jeanviet]

Salut François ! Excellent 😜

[@stephanenicault4939]

Il est possible d'allonger les vidéos en interne maintenant, plus besoin d'extraire la dernière image, je suis passé de 5s à 10s et il me semble que je peux aller à 15s maintenant (pas encore testé). En revanche attention, avec des images en haute résolution, la vidéo met des heures à être générée (que ce soit 5s ou 10s).🎉

[@stephanenicault4939]

J'ai testé ça hier soir, j'ai été impressionné par les résultats, déjà on a droit à 5s et mine d'un rien, une seconde ça compte mais surtout il y a une cohérence des mouvements des objets qui est meilleure que dans les autres ia a disposition. 2videmment on n'est pas encore dans du fidèle image après image à 100% mais pour moi il y a un palier de franchit.

[@jeanviet]

Merci pour ton retour. Totalement en phase ! As-tu eu des fails comme moi sur l'image de Jordan où les mouvements n'ont pas lieu en 3d ? Qu'est ce qui marche le mieux pour toi ? Prompt simple, complexe ? Image avec une seule personne ?

[@stephanenicault4939]

@@jeanviet pour mon projet actuel j'ai besoin de scènes de rue, genre quelques voitures dans une rue et des gens sur le trottoir, les voitures parviennent à parcourir la rue sans trop se déformer et la rue est correctement "construite" au fur et à mesure. J'ai aussi fait discuter trois personnages assis sur une banquette (image réalisée dans Iclone) et les mvts, bien qu'un peu rapides sont stupéfiants avec très peu de déformation. Évidemment ce n'est pas encore très précis mais pour l'utilisation que je peux en faire ça fonctionnera. Des prompts très simples genre "an animated street". Par contre ce matin je lui ai fourni une image faites de bulles de bd façon nuages avec des mots dedans et l'application a carrément refusé de traiter l'image et ce, quelque soit le prompt, peut un bug temporaire.

[@jeanviet]

@@stephanenicault4939 Merci Stéphane. Donc tu t'en sers en mode vidéos stocks pour les scènes de rue (sans importer d'images) et tu animes aussi tes images pour la discussion. Ca a l'air sympa iClone pour générer des perso 3D. J'essaie pour la prochaine vidéo d'améliorer mon utilisation de Dream Machine avec tes conseils ;)

[@stephanenicault4939]

@@jeanviet Bonjour, c'est exactement ça, de la vidéo footage. Pour être plus explicite je t'ai mis mes quelques essais sur ma chaîne (pour le moment je n'en suis qu'à ce stade d'utilisation). Elles sont toutes créées à base d'images (réalisé dans Ideogram je crois, j'utilise plusieurs ia d'images). Là par exemple, je trouve le résultat très cohérent : kzbin.info/www/bejne/mnizdq2Dp7OHaJI Ici l'ia s'est plantée, elle a estimé qu'il y avait une entrée de parking dans un des immeubles mais jusque là, ça reste exploitable, soit entre deux et trois secondes kzbin.info/www/bejne/n363Y4KQj5yqqNk Ici je trouve ça très bien, manifestement, comme tu le dis dans ta vidéo, ils profitent de leur connaissances en modélisation 3D kzbin.info/www/bejne/nZuTfX6BZ5Wsb9E Ici il est dommage qu'un des personnages vienne se fondre dans un autre mais l'ensemble est tout de même bluffant je trouve kzbin.info/www/bejne/g3XTfJWZjtmAf5o Là je trouve ça vraiment bien, certes le personnage central change au bout de deux ou trois images mais ensuite il reste cohérent jusqu'au bout. Il faudrait aussi ralentir la vidéo car certains gestes sont très rapides, selon moi c'est exploitable (je pense que pour mon projet je vais tout de même rester dans Iclone car l'image est plus précise mais pour en plan éloigné et/ou en passant par un upscaler ça peu très bien fonctionner) kzbin.info/www/bejne/hWbGlH5pmr6gb8U J'ai cru comprendre en revanche que l'ia n'invente pas grand chose quand on lui donne une image, c'est à dire que la rue du troisième test est vide alors que dans le prompt j'avais indiqué que je voulais des gens et des voitures, je n'ai rien eu du tout, je suppose que c'est la raison pour laquelle les résultats sont homogènes, l'ia semble créer qu'avec les éléments dont elle dispose dans l'image et non pas en inventant des trucs depuis n'importe où dans sa base de données. Et comme tu l'as démontré avec la vidéo tirée de ta photo avec ta femme, la cohérence atteinte par cette ia surpasse ce qu'on a par ailleurs et permet de faire 15s qui se tiennent d'un bout à l'autre, c'est enthousiasmant.

[@boriabogoris9656]

Je trouve ça hyper déceptif. Trop d'aléatoire, d'hallucinations, de mauvaise gestion des doigts ou des bouches... En tout cas, merci pour tes tests et tes retours sur ces différents outils.

[@jeanviet]

Merci pour tes retours de tests. Effectivement, on a du mal à générer les résultats souhaités même en étant hyper descriptif. Mais quand ça marche, la cohérence est vraiment au rdv. Quels prompts/ types d'images ont donné les meilleurs résultats chez toi ?

[@boriabogoris9656]

@@jeanviet Je n'ai pas pu encore tester moi-même. J'ai par contre vu bcp de gens tester avec des prompts, images (...) très différents et je n'ai pas vu un résultat sans défaut. Y'a toujours un truc qui ne va pas et qui saute aux yeux. Je pense donc qu'on est très loin de pouvoir générer des petites vidéos sans défaut. Il faudrait pouvoir faire nos prompts et une fois les vidéos générées, pouvoir entourer des zones de ces dernières pour que ces modèles regénèrent les même vidéos en retouchant les zones ciblées pour enlever les défauts. Que ce soit un personnage qui apparait de nul part (et l'effacer), des doigts ou des bouches qui font n'imp, des incohérences dans les mouvements des corps... Ce serait déjà une bonne approche au lieu de vouloir générer des vidéos de plus en plus longues alors que la tech n'est pas vraiment au point selon moi.

[@arakirikilol]

Steven Spielberg à du souci à se faire ! Bientôt tu vas le remplacer c'est sure ! HIIHOAhaohahoaohaoHAO !!

[@jeanviet]

Hehe 😜 blague à part, OpenAI ba peut-être signer des partenariats avec des grands studios Hollywoodiens pour qu’ils utilisent Sora (la version ++ de Dream Machine) dans leurs films. arstechnica.com/ai/2024/03/openai-shows-off-sora-ai-video-generator-to-hollywood-execs/

[@arakirikilol]

@@jeanviet Je pense qu'on peu utiliser l'IA en pré-production et en post-production. Mais utiliser l'IA en production ... avec un prompteur ... à mon avis on va vers la catastrophe. 🤣😂🤣😂Ou le nanar. Mais ça me fera toujours rigoler les gens qui pensent pouvoir arriver à faire autre chose que des cartes postales ou des gifs animés avec un prompteur. Hihihi ! L'IA est très facilement décelable maintenant, c'est toujours le même style, toujours la même façon de faire ... j'espère que dans le futur elle pourra faire mieux, mais je ne pense pas. En production pure, elle ne vaut rien.