[Open DMQA Seminar] Normalization Techniques for Deep Learning

Feature Scaling은 효과적인 모델 학습을 위해 모델 학습 이전에 진행하는 데이터 전처리 과정의 중요한 단계 중 하나이다. Feature scaling이란 feature 들의 크기, 범위를 정규화 또는 표준화해 특정 feature가 모델 학습에 더 큰 영향을 미치는 것을 방지하며, 대표적인 방법으로는 normalization과 standardization이 있다. 본 세미나에서는 먼저 feature scaling의 정의와 사용하는 목적, feature scaling의 대표적인 방법론들인 normalization과 standardization 각각의 구체적인 방법과 차이점에 대해 설명한다.이후에는 normalization에 초점을 맞춰 관련 다양한 연구 사례들에 대해 소개한다.
참고 문헌 :
1. Ioffe, S., & Szegedy, C. (2015, June). Batch normalization: Accelerating deep network training by reducing internal covariate shift. In International conference on machine learning (pp. 448-456). PMLR.
2. Ba, J. L., Kiros, J. R., & Hinton, G. E. (2016). Layer normalization. arXiv preprint arXiv:1607.06450.
3. Ulyanov, D., Vedaldi, A., & Lempitsky, V. (2016). Instance normalization: The missing ingredient for fast stylization. arXiv preprint arXiv:1607.08022.
4. Wu, Y., & He, K. (2018). Group normalization. In Proceedings of the European conference on computer vision (ECCV) (pp. 3-19).
5. Santurkar, S., Tsipras, D., Ilyas, A., & Madry, A. (2018). How does batch normalization help optimization?. Advances in neural information processing systems, 31.

[@마루-b9i]

좋은 강의 감사합니다!