【生成式AI導論 2024】第15講：為什麼語言模型用文字接龍，圖片生成不用像素接龍呢？- 淺談生成式人工智慧的生成策略

[@HungHsunHuang]

Transformer和Diffusion的觀念都是靠老師的影片才打通的，聽懂的時候太感動了，感謝!

[@uniwander]

请问是哪一集

[@黃啟賢-d8b]

核心概念描述很清楚，謝謝李老師用心說明

[@corgirun7892]

讲得真好，抓住核心脉络了

[@wendypark3848]

谢谢老师 期待以后有机器人相关的生成式课程

[@bevis3950]

NAG 統整的維度好高啊...自己看這些 paper 感覺很難悟出來 VAE, Diffusion 這類技術原來有這樣的關聯!

[@echoslayerblack7987]

- 影片 - **生成式AI的本質與應用**：生成式AI的目標是生成複雜有結構的物件，例如文字、影像和聲音。生成過程中需要基於有限的基本單位（Token、Pixel或Sample）進行組合。 - **Auto-Regressive生成方式**：以Auto-Regressive方法生成文字、影像或聲音，按部就班地生成一個接一個的單位，例如文字接龍生成句子、像素接龍生成圖片、Sample接龍生成聲音訊號。 - **Auto-Regressive方法的限制**：每次生成需依序進行，時間成本高。例如1024x1024解析度的圖片需要大量生成步驟，無法有效應用於影像和語音生成。 - **Non-Auto-Regressive生成方式**：一次性並行生成所有單位以加速過程，適合影像生成，但容易產生品質問題（multi-modality），導致生成結果不一致或模糊。 - **Auto-Regressive與Non-Auto-Regressive結合策略**：先用Auto-Regressive模型生成粗略版本，再由Non-Auto-Regressive模型進行細化，提升生成速度與品質。 - **影像生成中的壓縮與解壓縮方法**：使用Encoder將圖片壓縮生成簡化版本，再通過Decoder還原圖像，這種方法在影像生成模型（如VAE、GAN、Flow-based和Diffusion Models）中廣泛應用。 - **多階段生成與Diffusion Model**：多次使用Non-Auto-Regressive生成進行版本迭代，從低解析度到高解析度或從有雜訊到清晰的版本，實現影像的逐步生成。 - **影像生成實例**：MidJourney展示生成圖像的逐步清晰化過程，實際應用多次Non-Auto-Regressive模型生成技術。 - 補充概念 - **AutoEncoder技術**：利用Encoder壓縮數據，Decoder還原數據，進而生成更加精簡的影像數據表示，減少生成步驟。 - **Multi-Modality問題**：在Non-Auto-Regressive生成中，模型在不同生成步驟中產生不同解釋，導致輸出不一致，常見於影像和語音生成。 - **Diffusion Model應用於影像生成**：從高雜訊逐步生成清晰影像，克服單次生成造成的品質不穩定問題。 - **版本迭代的生成方式**：通過多次生成版本，不同版本間可以從小圖到大圖或從有雜訊到無雜訊，以提升生成品質，結合Auto-Regressive和Non-Auto-Regressive優勢。

[@toxics6463]

老师讲的好赞🎉🎉🎉

[@codedoc955]

学习了，原来 encoder 和 decoder 可以这样理解

[@danpoo007]

謝謝老師~~~

[@lamsongianm]

我只能說讚

[@willy7703]

老師有預計後面會講 Sora /Adobe firefly 背後的原理嗎~

[@balalai419]

感謝大師的分享, 受益良多, 請問有專門產生程式的 AI 模型?

[@LiLi-rm8oj]

這種截長補短的演算法也算是end to end嗎？

[@lch99310]

想請問老師 之後不知有沒有機會講解KAN 謝謝

[@w565u44]

这种炒作的东西还是去看中文三大顶刊比较好🤣

[@stevenash2591]

想問一下 那GPT是屬於AT還是多次NAT呢 謝謝老師

[@stevenash2591]

哈 我看完16講知道答案了 是GPT是屬於AT 所以適合套Speculative

[@codedoc955]

视频里都是 ar nar，哪里讲的 at 呢

[@stevenash2591]

對欸 是我打錯了 Sorry