[Open DMQA Seminar] Model Selection in Domain Generalization

전통적인 머신러닝 방법론들은 학습데이터와 시험데이터의 분포가 동일하다고 가정 (i.i.d. assumption)하고 예측을 수행한다. 그러나 다양한 현실 문제에서는 학습데이터와 시험데이터가 서로 다른 분포를 가지는 경우가 존재하며, 이러한 데이터 간의 분포 차 (domain gap)는 모델의 성능 하락을 야기한다. Domain Generalization은 학습 중에 사용되지 않은 새로운 분포의 시험 데이터도 잘 예측하는 강건한 모델을 만드는 것을 목표로 한다. 그러나 시험데이터와 동일한 분포의 검증데이터를 구성할 수 없기 때문에, 최적의 모델 파라미터를 결정하는 것이 어렵다. 따라서, Domain generalization에서 최적의 모델을 선택하는 방법은 굉장히 중요한 문제이다. 본 세미나에서는 Domain generalization에서 모델 선택의 중요성에 대해서 이야기하고, 데이터 간의 분포 차이에도 불구하고 강건한 모델을 선택할 수 있는 방법론들을 소개하고자 한다.
참고문헌:
[1] Gulrajani, I., & Lopez-Paz, D. (2020, October). In Search of Lost Domain Generalization. In International Conference on Learning Representations.
[2] Cha, J., Chun, S., Lee, K., Cho, H. C., Park, S., Lee, Y., & Park, S. (2021). Swad: Domain generalization by seeking flat minima. Advances in Neural Information Processing Systems, 34, 22405-22418.
[3] Arpit, D., Wang, H., Zhou, Y., & Xiong, C. (2022). Ensemble of averages: Improving model selection and boosting performance in domain generalization. Advances in Neural Information Processing Systems, 35, 8265-8277.