[StatnMath] 회귀 개념설명: Least Squares Estimate와 Maximum Likelihood Estimate의 차이점

statnmath.tistory.com

[@user-xu2jj6vf9r]

감사합니다.

[@datascientist8756]

저도 감사해요 :)

[@aminmok3346]

안녕하세요! 두 개념에 대해 최대한 이해하려고 하고 개념적으로 어느정도 정리는 된 것 같은데 잘 이해가 안되는 부분이 편미분해서 0이 되도록 하는 부분인데요. (전공분야가 아니라 독학으로 해서 그런지 수학적으로 빈 부분이 많나봅니다 ㅠㅠ) Least Squares Estimate와 Maximum Likelihood Estimate에서 편미분해서 0이되는 계수를 찾는 것이 어떻게 각기 최소/최대가 되는 것인지가 궁금합니다 ㅠㅠ (단지 고등학교 수학에서만 봐도 미분해서 0이 되는 지점은 극대극소점 등이라 미분해서 0이 되는 것만으로는 최대최소를 판단할 수 없지 않나 생각되구요. MLE의 경우는 확률이 최대가 되게 하는 모수를 찾는 걸로 이해가 되는데, 이게 근본적으로 어떤 분포를 따르는지 정확히 알수 없는 경우도 있지않나 하는 생각도 들구요.. )

[@user-xs4db7es7c]

MLE의 경우는 노이즈가 정규분포를 따른다고 가정을하고 시작합니다. 그렇기에 정규분포 식에 각 likelihood값을 독립시행으로 곱해나가면서 편미분을 통해 최댓값을 찾는 과정으로 해석하시면 됩니다. 학생분이 말씀하신대로 미분을해서 0이라고 해서 그것이 global min/max임을 보장해주진 않습니다 그보다는 local min/max가 되겠죠. 하지만 다행히도 mle의 함수는 오목함수이기 때문에 지역최대가 전역최대라고 해석하실 수 있습니다. 마찬가지로 최소자승법에 대해서도 볼록함수이기에 지역최소가 전역최소라고 보실 수 있습니다. 자세한 것은 convex optimization이라고 하는 최적화 방식에 대한 과목을 공부해보시면 더욱 깊게 배우실 수 있습니다