[Open DMQA Seminar] Accelerating Diffusion Models - Consistency Models and Hybrid Approach

디퓨전 모델 기반의 text-to-image 모델이 고품질의 이미지 생성 능력을 보여주면서 디퓨전 모델은 많은 관심을 받게 되었다. 이를 바탕으로 텍스트, 오디오 등 다양한 데이터에 디퓨전 모델을 적용하는 연구들이 활발히 진행되고 있다. 디퓨전 모델은 이미지를 여러번의 step을 통해 생성하는 만큼 기존 생성모델들에 비해 샘플링 속도가 느리다는 단점이 있다. 지금까지 디퓨전 모델에서 샘플링 속도를 개선하기 위한 연구들은 SDE solver의 개선 혹은 distillation 기반의 연구들이 많이 이루어졌다. 이러한 연구들은 샘플링을 10~20step 정도로 줄이는데에는 성공했지만, 극단적으로 적은 1~4step의 샘플링에서는 만족스러운 결과를 얻기 어려웠다. 최근 1~4step의 샘플링에서도 고품질의 이미지를 생성할 수 있는 기법들이 등장하여 많은 관심을 받고 있다. 이번 세미나에서는 디퓨전 모델의 생성 속도를 개선한 최신 연구들인 Consistency Model과 Hybriad Approach들에 대해 살펴보고자 한다.
참고자료:
[1] Song, Y., Dhariwal, P., Chen, M., & Sutskever, I. (2023). Consistency models. arXiv preprint arXiv:2303.01469.
[2] Luo, S., Tan, Y., Huang, L., Li, J., & Zhao, H. (2023). Latent consistency models: Synthesizing high-resolution images with few-step inference. arXiv preprint arXiv:2310.04378.
[3] Xu, Y., Zhao, Y., Xiao, Z., & Hou, T. (2023). Ufogen: You forward once large scale text-to-image generation via diffusion gans. arXiv preprint arXiv:2311.09257.
[4] Sauer, A., Lorenz, D., Blattmann, A., & Rombach, R. (2023). Adversarial Diffusion Distillation. arXiv preprint arXiv:2311.17042.

[@DELee-qo6kv]

one step generative model인 GAN이나 VAE는 각각 명백한 단점이 있고, 그렇다고 이 둘의 단점을 극복한 DDPM은 1000 step generative model이라 느리니, few step 만으로 성능이 나오면 품질 vs 속도의 타협이 가능하겠군요. 굉장히 흥미로운 연구분야인 것 같습니다.