[Open DMQA Seminar] Domain Adaptation

모델의 일반화 (generalization)란 유한한 데이터 표본을 기반으로 학습된 모델 (predictor)이 새로운 데이터셋에 대해서도 정확하고 신뢰 가능한 예측을 수행하는 과정을 일컫는다. 하지만 만일 모델을 학습 시키기 위해 사용한 데이터셋 (source domain)이 새로운 데이터셋 (target domain)의 분포를 반영하지 못한다면, 모델은 target domain에 대해서 일반화 되지 못할 것이다. 이러한 문제 상황에서, target domain의 (little or no labeled) samples을 확보하여 source domain과의 분포 차이를 완화하는데 이용할 수 있다면, 분포가 다른 도메인에서도 모델의 일반화 성능을 향상시키는 것이 가능하다. Domain adaptation (DA)은 위와 같은 상황을 해결하고자 하는 연구 갈래이며, 선행연구 [1], [2]는 '어떠한 조건에서 학습을 수행해야 source domain으로 훈련된 모델이 target domain에서도 좋은 성능을 낼 수 있을까?'라는 물음을 기반으로 target domain의 예측 오류를 최소화 할 수 있는 이론적인 배경을 제안한다. 본 세미나에서는 이러한 이론적 배경을 짚고, 최근의 딥러닝 기반의 DA 연구들은 어떻게 이론을 발전시켜 왔는지 살펴보는 것을 목적으로 한다.
참고자료:
[1] Ben-David, S., Blitzer, J., Crammer, K., & Pereira, F. (2006). Analysis of representations for domain adaptation. Advances in neural information processing systems, 19.
[2] Ben-David, S., Blitzer, J., Crammer, K., Kulesza, A., Pereira, F., & Vaughan, J. W. (2010). A theory of learning from different domains. Machine learning, 79, 151-175.
[3] Ganin, Y., Ustinova, E., Ajakan, H., Germain, P., Larochelle, H., Laviolette, F., ... & Lempitsky, V. (2016). Domain-adversarial training of neural networks. Journal of machine learning research, 17(59), 1-35.
[4] Saito, K., Watanabe, K., Ushiku, Y., & Harada, T. (2018). Maximum classifier discrepancy for unsupervised domain adaptation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3723-3732).
[5] Chen, L., Chen, H., Wei, Z., Jin, X., Tan, X., Jin, Y., & Chen, E. (2022). Reusing the task-specific classifier as a discriminator: Discriminator-free adversarial domain adaptation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 7181-7190).

[@TV-ez7wc]

동영상 올려주셔서 감사합니다❤

[@tommyslab4800]

DA 근본 논문부터 그 내용들을 deep learning으로 어떻게 구현하려 하는지 흐름을 잘 보여주셔서, 입문하기에 좋은 세미나네요. 세미나 감사합니다 :)

[@JayLee-gv8tv]

Clip 도 그러면 Unsupervised Domain Adaptation 을 활용 한 것이네요 ? Clip은 라벨링이 없이 Finetuning 하지 않고 Pretrained 된거 기반에 위에서 말씀해주신 MCD... 기법 H Divergence를 이용한 것으로 정확한 건 아니지만 비슷하다고 생각하면 될지요 ?

[@Amamamamwnwb]

목소리 귀엽다고 생각합니다