[Open DMQA Seminar] Two Formulations of Diffusion Models

디퓨전 모델에서의 연구는 크게 application 을 다루는 연구와 theoretical 한 연구로 나뉜다. 각 연구 분야에서는 동일한 디퓨전 모델을 다루지만 노이즈를 추가하고 제거하는 schedule 을 다른 방식으로 가져간다. 각 formulation 을 variance preserving (VP) 와 variance exploding (VE) formulation 이라 부르며, 본 세미나에서는 두 formulation 의 차이와 등장하게된 이론적 배경, 그리고 이를 하나로 통합시키는 unified framework 방법론을 소개하고자 한다.
참고자료:
[1] Ho, Jonathan, Ajay Jain, and Pieter Abbeel. "Denoising diffusion probabilistic models." Advances in neural information processing systems 33 (2020): 6840-6851.
[2] Kingma, Diederik, et al. "Variational diffusion models." Advances in neural information processing systems 34 (2021): 21696-21707.
[3] Vincent, Pascal. "A connection between score matching and denoising autoencoders." Neural computation 23.7 (2011): 1661-1674.
[4] Song, Yang, and Stefano Ermon. "Generative modeling by estimating gradients of the data distribution." Advances in neural information processing systems 32 (2019).
[5] Song, Yang, et al. "Score-based generative modeling through stochastic differential equations." arXiv preprint arXiv:2011.13456 (2020).
[6] Song, Yang, et al. "Consistency models." arXiv preprint arXiv:2303.01469 (2023).