【生成式AI導論 2024】第15講：為什麼語言模型用文字接龍，圖片生成不用像素接龍呢？- 淺談生成式人工智慧的生成策略

Рет қаралды 30,380

Hung-yi Lee

Күн бұрын

Пікірлер: 20

@HungHsunHuang 8 ай бұрын

Transformer和Diffusion的觀念都是靠老師的影片才打通的，聽懂的時候太感動了，感謝!

@uniwander 8 ай бұрын

请问是哪一集

@黃啟賢-d8b 5 ай бұрын

核心概念描述很清楚，謝謝李老師用心說明

@corgirun7892 8 ай бұрын

讲得真好，抓住核心脉络了

@wendypark3848 8 ай бұрын

谢谢老师期待以后有机器人相关的生成式课程

@bevis3950 5 ай бұрын

NAG 統整的維度好高啊...自己看這些 paper 感覺很難悟出來 VAE, Diffusion 這類技術原來有這樣的關聯!

@toxics6463 8 ай бұрын

老师讲的好赞🎉🎉🎉

@danpoo007 8 ай бұрын

謝謝老師~~~

@willy7703 8 ай бұрын

老師有預計後面會講 Sora /Adobe firefly 背後的原理嗎~

@codedoc955 8 ай бұрын

学习了，原来 encoder 和 decoder 可以这样理解

@echoslayerblack7987 2 ай бұрын

- 影片 - **生成式AI的本質與應用**：生成式AI的目標是生成複雜有結構的物件，例如文字、影像和聲音。生成過程中需要基於有限的基本單位（Token、Pixel或Sample）進行組合。 - **Auto-Regressive生成方式**：以Auto-Regressive方法生成文字、影像或聲音，按部就班地生成一個接一個的單位，例如文字接龍生成句子、像素接龍生成圖片、Sample接龍生成聲音訊號。 - **Auto-Regressive方法的限制**：每次生成需依序進行，時間成本高。例如1024x1024解析度的圖片需要大量生成步驟，無法有效應用於影像和語音生成。 - **Non-Auto-Regressive生成方式**：一次性並行生成所有單位以加速過程，適合影像生成，但容易產生品質問題（multi-modality），導致生成結果不一致或模糊。 - **Auto-Regressive與Non-Auto-Regressive結合策略**：先用Auto-Regressive模型生成粗略版本，再由Non-Auto-Regressive模型進行細化，提升生成速度與品質。 - **影像生成中的壓縮與解壓縮方法**：使用Encoder將圖片壓縮生成簡化版本，再通過Decoder還原圖像，這種方法在影像生成模型（如VAE、GAN、Flow-based和Diffusion Models）中廣泛應用。 - **多階段生成與Diffusion Model**：多次使用Non-Auto-Regressive生成進行版本迭代，從低解析度到高解析度或從有雜訊到清晰的版本，實現影像的逐步生成。 - **影像生成實例**：MidJourney展示生成圖像的逐步清晰化過程，實際應用多次Non-Auto-Regressive模型生成技術。 - 補充概念 - **AutoEncoder技術**：利用Encoder壓縮數據，Decoder還原數據，進而生成更加精簡的影像數據表示，減少生成步驟。 - **Multi-Modality問題**：在Non-Auto-Regressive生成中，模型在不同生成步驟中產生不同解釋，導致輸出不一致，常見於影像和語音生成。 - **Diffusion Model應用於影像生成**：從高雜訊逐步生成清晰影像，克服單次生成造成的品質不穩定問題。 - **版本迭代的生成方式**：通過多次生成版本，不同版本間可以從小圖到大圖或從有雜訊到無雜訊，以提升生成品質，結合Auto-Regressive和Non-Auto-Regressive優勢。