Movie Diffusion explained | Make-a-Video from MetaAI and Imagen Video from Google Brain

[@Skinishh]

Great video, once again! Correction: Phenaki does not have diffusion models in it, it is similar the Parti text2img model (uses enc-dec to generate image tokens that are later decoded by VQ-VAE)

[@AICoffeeBreak]

Yes, I realised this just today after the video was up. 😅 Thanks, pinning the comment.

[@nicohambauer]

I love the fact that Ms CoffeBean exists! It is not distracting at all!

[@sophiazell9517]

"video processing schnickschnack" :D funny and informative. The best channel to learn about AI!

[@AICoffeeBreak]

Thanks! ☺️

[@Quazgaa]

i like these kind of videos with information on how these things work, thanks

[@WatchAndGame]

Great video! I've never heard anyone say "schnick schnack" in English though :D made me chuckle

[@datasciyinfo5133]

Thank You & Ms CoffeBean, for making learning enjoyable in the difficult and fast moving AI field. Jennifer Y

[@killers31337]

Make-a-video basically just animates a still frame. While Phenaki produces a small movie according to a script. i would guess if they combine all three approaches (still image generation, video-with-description, video-without-description) they would be able to produce a high-quality movie-like content.

[@MIKEZHANG-k9t]

Dont't understand how the st decoder is trained, do they freeze the original image generation parameter? do they use the text prompt as input for the decoder?

[@v_pryadchenko]

Thank you!

[@mosca204]

Awesome videos to keep up with the new papers

[@satpalsinghrathore2665]

Thanks.

[@congwang9208]

Thank you! Excellent videos come so quickly! Just read the papers last week now you give an explained video. Too much helpful 😀

[@sehrishilyas8416]

Well explained!!

[@pladselsker8340]

If these video diffusion models ever get into my hands, I will probably lose even more sleep than with the current image diffusion models haha...

[@jaysethii]

Phenomenal

[@drhilm]

Chilling

[@anjaliram5050]

Ich sehe gerade das Sie aus Deutschland sind, deshalb schreib ich es auf deutsch : Ich bin au Berlin und muss bald meine Präsentationsprüfung im Fach Informatik mit Bezug auf Darstellendes Spiel halten. Meine Leitfrage ist: Kann man in Zukunft, durch KI, Schauspieler ersetzen? Ihr Video hat mir sehr geholfen! Meine jetzige Vorrangehensweise ist es diese Modelle vorzustellen (Also das Diffusion Models so ziemlich der Weg wären um das Szenario in meiner Leitfrage zu erreichen). Denken Sie das sowas möglich wäre und gibt es auch andere Wege wie man so etwas erreichen könnte (ausser GANs)? Nochmal danke für dieses Lebensrettende Video!!

[@AICoffeeBreak]

Hallo, Anjali! Außer Diffusion Models und GANs gibt es noch autoregressive Transformers, wie DALL-E 1 openai.com/blog/dall-e/ (nicht zu verwechseln mit DALL-E 2 was ein diffusion model ist). Viel Erfolg bei der Prüfung! :)

[@Beyondarmonia]

Can you do a video on NeRF and InstantNeRF?