최대우도법(Maximum Likelihood Estimation) 소개

글로 정리된 곳: angeloyeo.github.io/2020/07/1...
---
커피 한 잔의 후원이 큰 힘이 됩니다.
후원하기(카카오페이): qr.kakaopay.com/2810060110000...
후원하기(송금)
- 카카오뱅크 3333-15-3394161 (여동훈)
- 우리은행 1002-036-488593 (여동훈)
--
영상에서 사용된 모든 MATLAB 코드는 아래의 github repo에서 받아가실 수 있습니다.
github.com/angeloyeo/gongdols

[@iamnotinroomiamtheroom]

질문이 있습니다. 1. 이 최대우도법이라는게 인공지능에서 쓰인다는 데 어떻게 쓰이는지가 궁금합니다. 2. 미분 값이 0인 세타일때 최대라고 어떻게 단정지을 수 있나요? 최고차항이 양수인 이차함수에서는 미분값이 0인곳에서 최소가 되는데 어떤 다른정보가 추가 되어야하는거아닌가요? (고등학생 입장에서 질문을 드리다보니 부족한점이 많습니다 죄송합니다)

[@AngeloYeo]

방명호님 안녕하세요. 정말 좋은 질문들 감사드립니다... 그리고 고등학생이시라는 점에서 매우 놀랐습니다. 이렇게 날카로운 질문을... 1. 인공지능에서 최대우도법이 사용되는 경우는 모두 다음과 같은 상황이라 생각하시면 됩니다. - 많은 데이터를 모았음. - 해당 데이터가 얻어졌을 것이라 생각되는 확률 분포를 계산하고자 함. - 이 때, 모수적인 추정으로 확률분포의 성격을 좌우하는 파라미터들을 계산하고자 하는 경우 (가령 정균분포의 경우 평균과 표준편차 값이 될 수 있고, gamma 분포를 가정한다고 하면 a, b 값 등등...) 즉, 엄청나게 많이 모은 데이터를 이용해서 분포를 추정할 때 쓰입니다. 이렇게 얻어진 분포를 이용하면 분류기를 만든다던지, 클러스터링 분석을 한다던지 하는 목적으로 이용될 수 있습니다. 2. 말씀하신대로 미분값이 0인 theta일 때 최대값이 된다고 하였지만 실제 데이터에서는 말씀하신대로 단정할 수는 없습니다. 이런 경우를 대비해서 likelihood에 대한 Hessian 행렬을 계산해 극대극소 판정을 할 수 있습니다.

[@iamnotinroomiamtheroom]

@@AngeloYeo 그러면 최대우도법을 통해 실제로 분포를 추정할 때는 거의 대부분 Hessian 행렬을 계산해서 극대극소 판정을 하고 theta값을 구해서 분포를 추정하는 건가요?

[@AngeloYeo]

@@iamnotinroomiamtheroom 제가 MLE를 이론적인 수준에서 이해하고 통계학이나 기계학습 관련 이론들에 적용할 정도로만 알고 있다보니 실무적인 수준에서 어떻게 MLE를 사용하는지는 정확하게 모르겠습니다. ... 하지만 이론적으로는 Hessian을 이용하면 극대극소의 판정이 가능한 것은 맞구요, 아래의 문헌에서도 MLE를 사용할 때 Hessian을 계산해서 극대극소를 판정하라고 가이드하고 있습니다. 실제로 통계 프로그램을 이용하면 MLE 이용 시 Hessian을 계산할 수 있게 옵션을 제공합니다. www.sherrytowers.com/mle_introduction.pdf

[@iamnotinroomiamtheroom]

@@AngeloYeo 좋은 답변 감사합니다~ 많은 도움이 되었습니다!

[@iamnotinroomiamtheroom]

@@AngeloYeo 죄송한데 하나만 더 질문드려도 될까요? 그냥 개념적인 건데용. 1. 최대우도법이란게 비선형회귀분석에서 회귀식을 추정할때 주로 쓰이는건가요? 아니면 비선형회귀분석 중 로지스틱회귀분석에서 회귀식을 추정할 때 최대우도법이 주로 쓰이는건가요? (혹시 회귀식을 추정한다는말이 계수추정과는 똑같은말인지 헷갈립니다..) 2. 선형회귀분석에서는 회귀식을 추정할때 최소제곱법이 주로 쓰이는거 맞나요?

[@taehyunallisonlee1785]

선생님 건강하게 오래오래 사셔서 좋은 강의 많이 올려주세요 ~ 감사합니다. 즐거운 한가위 보내세요 :)

[@jm-px3mr]

사골같은 유튜브.. 감탄을 마지 않는 채널... 처음에 이해 못 하고 다시 돌아왔는데 드디어 깨달았습니다 센세. 진짜 최대우도법 설명은 역대급인듯요. 저 박사과정 마칠 때까지 영원히 있으시길...

[@AngeloYeo]

ㅎㅎ 이해하시는데 도움 되었다니 다행입니다 ^^~ 박사과정 마칠실 때까지 저도 함께 공부하고 있겠습니다 학위과정 화이팅입니다!

[@seeun7163]

그래프로 보니 이해가 확 와닿습니다 정말 감사합니다

[@seungchullee7729]

늘 감사하게 잘 보고 있습니다.

[@AngeloYeo]

댓글 남겨주셔서 감사합니다 ! 공부하시는 데에 도움 되셨으면 좋겠습니다 :)

[@alwaysmarine2091]

좋은 영상감사합니다. 기계학습공부하면서 이해하기 어려웠던 부분인데 감사합니다. 평안한 하루되세요

[@AngeloYeo]

안녕하세요. 이해에 도움 되셨으면 좋겠습니다 감사합니다 ♡

[@mung4878]

좋은 설명 감사합니다.

[@luckypower8352]

매우 좋은 유튜브 강의입니다. 목소리도 좋으시구요. 응원합니다.

[@AngeloYeo]

칭찬과 응원 감사합니다 ^^

[@namuni67541]

좋은 강의 감사합니다! 구독했어요! 수준높은 댓글로도 정말 많이 배워갑니다!

[@AngeloYeo]

구독 감사합니다 😁 댓글을 보면 알 수 있는게 구독자분들의 레벨이 참 높으신 것 같아요. 재밌게 봐주셔서 감사해요 ㅎ

[@user-sm7hr7el8n]

최고에요.... 너무 감사합니다.

[@AngeloYeo]

이해하시는데 도움 되었다니 다행입니다 ^^

[@user-sn4me6du7p]

좋은 영상에 한가지 덧붙입니다. 각 조건부 확률을 곱할 때 서로 독립이라는 가정에 대한 설명이 생략되었습니다.

[@YeoTaeYeong]

멋지군요 설명을 쉽게해 주네요 그냥 칠판에서 하실 수 있는데 애정이 대단합니다

[@AngeloYeo]

감사합니다 ~ 수학에 관심많으신 것 같으시네요 ^^ 들려주셔서 감사합니다 ♡

[@jayjung1625]

진짜 대한민국 최고의 강의입니다....

[@AngeloYeo]

격한 칭찬 감사합니다 ^^;

[@popomu90]

선생님.새해복 마니 받으세여!!!

[@AngeloYeo]

스펀지솜님 감사합니다 :) 새해 복 많이 받으세요

[@Danny-cd7cu]

평소에 이해 못한 수학 원리를 알아가니 이렇게 재미를 느낀것은 처음인 같습니다. 아~ 그렇구나.... 감사 감사합니다.

[@AngeloYeo]

음... 너무 좋게 말씀해주셔서 감사합니다 (_ _) 도움이 되셨으면 좋겠습니다!

[@jaehwanlee859]

이해가 쏙쏙

[@AngeloYeo]

감사합니다 ♡

[@user-ni6qy1by2n]

미쳤다 대단하십니다...

[@AngeloYeo]

감사합니다 좀 더 미쳐보겠습니다!! ㅎ 재밌게 보신 것 같아 기분이 좋네요 ㅎㅎ

[@sophist_Anvy]

베이즈부터 잘 듣고 있습니다! DDPM논문보다 여기까지 와 버렸습니다!

[@bbbb-eh5dd]

몇년째 신세를 지네요 감사합니다 ㅎㅎ

[@narikim6387]

해외에서 공부를 하고 있는데, 블로그와 유튜브 찾아보면서 시험공부 했어요. 도움이 많이 되었습니다! 약소하지만 후원금 보내드려요

[@AngeloYeo]

김나리님 후원 해주신 것 잘 받았습니다 ^^~ 감사합니다! 공부하시는데 도움 되었다니까 기쁘네요 ㅎㅎ 시험 잘 보시고 좋은 성과 얻으시길 기원드립니다 😁

[@user-lj6jw3fh5g]

영상 감사합니다..! 교수님 설명보다 이해가 잘 돼요...

[@user-uf6nf3er7n]

안녕하세요. 머신러닝의 로지스틱회귀를 공부하는 과정에 질문이 하나 생겨 질문드립니다. 로지스틱회귀의 손실함수(cost, loss, error 라고도 부름)를 (1)Likelihood로 정의해 MLE를 사용해 최소화하는 것과 (2)log loss로 정의해 gradient decent를 사용해 최소화하는 방향으로 업데이트 하는 방법. 즉 (1)과 (2)의 차이가 무엇인지 궁금해 질문 드립니다. 공돌이님은 블로그에서 (2)번을 이용해 설명을 해주셨지만, (1)번의 내용도 다루고 계신 것 같아 질문 드립니다!

[@user-tq5js4hw3p]

흑흑 사랑합니다 ㅜ.ㅜ

[@AngeloYeo]

호호 도움되셨으면 좋겠네요 ! 댓글 감사드려용 ♡

[@user-ex4ws9dx4w]

공돌이님 사랑해요. 완전 팬이되었어요. 경제를 사랑하는 통계 못난이가 글을 남겨요.

[@AngeloYeo]

재밌게 봐주신 것 같아 기분이 좋습니다 😁

[@user-si2ln8hq9e]

p(xi | theta) 를 input이 224*224, output이 10개인 MNIST 데이터셋에 대한 CNN으로 생각하면, xi는 값을 224*224개 가지는 벡터 내지 행렬, p(xi | theta)는 현재 theta에서 xi의 답인 레이블이 나올 확률, 즉 마지막 softmax를 끝마친 output에서 정답 레이블의 확률이라 생각하면 될까요? 감사합니다!!

[@beenzino1152]

좋은 영상 정말 감사합니다. 해당 영상을 보고 몇 가지 질문을 드리고 싶어서, 이렇게 댓글을 쓰게 되었습니다. 4분 55초 부근에서 분포 후보들의 파라미터들을 미리 생각해놓는다고 하셨는데, 후보가 될 파라미터들이 '평균'과 '표준편차'를 의미하는 것이 맞습니까? 그리고 후보 파라미터들을 선정하고 몇 개를 선정해야하는지 궁금합니다. 자세한 답변 부탁드립니다. 감사합니다.

[@AngeloYeo]

안녕하세요. 1. 4분 55초 부근에서 언급한 '파라미터'는 평균과 표준편차가 될 수 있습니다. 다만 '될 수 있다'라고 말씀드리는 이유는 어떤 분포를 선정하는가에 따라서 파라미터가 달라질 수 있기 때문인데, 영상의 예시에서 처럼 정규분포를 가정한다면 영상에서 언급했던 파라미터는 평균과 표준편차가 맞습니다. 2. 후보 파라미터들을 몇개를 선정해야하는가는 예상하는 분포와 분석 시 상황에 따라 다를 수 있습니다. 가령 정규분포를 가정하면 평균, 표준편차 두 개의 파라미터가 필요하고, 또 가령 기하분포를 가정한다고하면 p값 하나만 얻고자하는 파라미터로 설정하면 됩니다.

[@jsljsl0741]

머신러닝 강의를 듣던중에 MLE에 대해 어려움을 느꺗는데 좋은 강의를 찍어주셔서 감사합니다. 혹수 추가로 이후에 MLE 와 MAP에 관한 비교 강의 또는 MAP에 관한 영상 또는 블로그에 대한 계획이 있으신지 궁금합니다!

[@AngeloYeo]

MAP를 직접적으로 다루지는 않았지만 MCMC나 Naive Bayes 영상에서 사용했습니다. 특별히 다룰 계획은 가까운 시일내에는 없을 것 같습니다 ㅠ 지금은 다른 부분을 정리하고 있어서요 ㅎ

[@user-nh6pw8vp3p]

안녕하세요! 영상을 보다가 궁금한 점이 생겨 질문 남겨봅니다.. 5:55 Likelihood function인 P(x|theta)에서 '|theta'는 가우시안 분포일 때 평균이 뮤이고 분산이 시그마 제곱인 분포가 주어졌을 때 라고 생각하면 된다고 하셨는데 그럼 여기서 '|(bar)'는 조건부 확률에서 쓰이는 bar의 의미와 다르나요? 조건부 확률의 bar이면 평균이나 분산을 나타내는 theta도 random variable이어야 할 것 같은데 theta가 random variable인가요?

[@AngeloYeo]

안녕하세요. 1. 조건부 확률에서 쓰이는 bar와 같은 것 입니다. 2. theta 가 꼭 random variable이 되어야하는 이유는 뭔지 알 수 있을까요? 조건이 '해당 모수라고 추정했을때' 정도면 충분할 것 같은데 🤔...

[@user-nh6pw8vp3p]

@@AngeloYeo 그럼 P(xk|theta)는 해당 모수(ex. 특정한 평균 혹은 분산)라고 추정했을 때 그 데이터 xk에서의 pdf의 높이값이라고 보면 되는 건가요?

[@AngeloYeo]

네 정확합니다

[@user-nh6pw8vp3p]

@@AngeloYeo 답변 감사합니다! 좋은 강의 감사해요! 👏 👏

[@aminmok3346]

안녕하세요 반갑습니다. 저도 최대우도법에 대해 나름대로 이해하고 정리는 해봤는데, 잘 이해가 안되는 부분이 편미분해서 0이 되도록 하는 부분인데요. (전공분야가 아니라 독학으로 해서 그런지 수학적으로 빈 부분이 많나봅니다 ㅠㅠ) 대부분 책이든 인터넷이든 MLE 설명하면서 로그 취해가지고 그냥 편미분하고 0되는 점의 파라미터를 구하도록 하고 있는데.. 항상 너무 당연하게들 이렇게 풀어서 수학적으로 제가 놓치고 있는 부분이 있는게 아닌가 하는 생각이 듭니다. 이 부분에 대해 조금 자세한 설명 가능하신지요?

[@sungwoocho5830]

저도 잘은 모르지만, 선생님이 만들어주신 애플릿의 빨간색선의 마지막 그래프 그 그래프가 유사도를 나타내고 유사도의 최대값을 구하려면 미분해서 기울기가 0인 꼭지점을 찾는게 아닐까요

[@123ent1]

좋은 영상 감사합니다! 질문이 하나 있습니다. Likelyhood function은 p(X/세타)를 각각 곱한것인데, 왜 단순히 더하지 않고 곱하는지 궁금합니다!

[@AngeloYeo]

여러 샘플을 한번에 뽑는 것은 동시에 발생하는 사건으로 볼 수 있는 것이라 그렇습니다.

[@123ent1]

답변 감사합니다!

[@MS-sh9su]

안녕하세요, 그렇다면 MLE는 모수적 방법으로, 모수가 정규분포를 따른다고 가정하고 있을 때 사용하나요? 좀 복잡한 경우 (예를 들어 가우시안 믹스처) 모수에서도 이용 가능한 방법론인가요? 감사합니다.

[@AngeloYeo]

네 거의 맞습니다. 그런데 꼭 정규분포여야 할 필요는 없습니다. 그리고 가우시안 믹스쳐는 MLE 는 아니고 EM 알고리즘을 씁니다. 그래도 likelihood를 사용한다는 흐름은 유사합니다.

[@sanheepark4024]

넵, 답변 감사합니다. 항상 블로그 잘 보고 있습니다. :) 영상도 있었네요! 응원드립니다.

[@jm-px3mr]

7:46 에서 L( ) 함수에서 log P( ) 함수로 넘어갈 때 쎄타와 x가 자리를 바꾸는 이유를 물어보는 건 너무 핑프같은 짓이겠죠...? 혹시 이 자리바뀌는 이유 알려면 어떤 개념을 알아야 하는지는 여쭤볼 수 있나요?

[@AngeloYeo]

안녕하세요. 중요한 질문일 수도 있습니다. L () 함수에서 theta를 먼저 앞으로 빼는 것은 Likelihood 함수가 theta에 대한 함수로 보겠다는 의미로 앞으로 먼저 빼는 것입니다. 그러니까, 특별한 이유가 있는 것은 아니고 어떤 점을 강조할 것인가에 초점을 둔 것이라고 할 수 있습니다. 표현의 변화를 통해서 Likelihood가 주목하고자 하는 강조점을 부각해 표현한 것이라고 볼 수 있을 것 같습니다.

[@jm-px3mr]

감동적인 답변 감사드립니다. ㅠㅠ.. 그렇다면 L()함수와 이외의 계산식에서 괄호>>( ) 안에서 | (bar)가 차지하는 의미가 다른 것인가요? 나머지 계산식에서는 조건부확률의 | (bar)라고 생각하고 이 표기들이 적합하다고 보는데요. 만일 L() 함수 내의 | 가 조건부확률을 뜻한다면 모수 이전에 관측치를 먼저 상정한다는 것인데 사실 분포가 먼저 존재하는 것이니 다른 계산식에서처럼 x|theta 가 맞는 것 아닌가 싶어서요. 그런데 생김새가 너무 조건부처럼 보여서 제 말이 도대체 말인지 당나귄지 모르겠습니다요 ~_~...

[@AngeloYeo]

말씀하시는 부분이 맞습니다. 우리에게 사실 주어진 것은 데이터 x 입니다. 그리고, 확률밀도 함수의 높이를 계산할 때는 theta를 지정해주었을 때 비로소 해당 x에 대한 확률밀도 값을 계산할 수 있게 되지요. 분포가 먼저 존재한다는 것은 말씀하신대로 변수 theta가 주어졌을 때를 말하는 것이구요. likelihood는 어떤 theta가 주어주었을 때 얻을 수 있는, 모든 주어진 데이터들에 대한 확률밀도의 곱으로 생각할 수 있는데요. Maximum Likelihood Estimation에서 수행하는 일은 여러가지 조건의 theta에 대해 likelihood를 계산해보았을 때 얻을 수 있는 likelihood가 최대가 되는 경우의 theta는 무엇인가를 찾는 것입니다. 그렇기 때문에 theta와 x가 자리를 바꾸는 것은 theta에 대한 함수로 likelihood를 생각하자는 의미에 기반한 것입니다. 말씀하신대로 실제 계산은 x|theta와 같이 진행됩니다. 다만, 여러가지 theta를 넣어보고 likelihood가 최대가 되게 하는 theta가 무엇인지 찾는 과정이 MLE라는 점을 다시 한번 생각해보시면 질문에 대한 답을 얻을 수 있으실 것 같습니다.

[@jm-px3mr]

@@AngeloYeo 친절한 답변 감사합니다! 성의는 도네이션으로 표시하겠습니다 :)

[@AngeloYeo]

@@jm-px3mr 별말씀을요~ ㅎㅎ 저에게도 도움 주실 수 있으시다면 저야말로 더 감사합니다 (_ _)

[@user-bd6zx7kf6g]

Log{(X|θ)} 가 Log likelihood 표기 법으로 작성될 땐 L(θ|x)형식으로 condition? 의 위치가 바뀌는 것 같은데 이것은 단순히 표기법의 차이 인가요?

[@AngeloYeo]

네 맞습니다. 파라미터와 변수 중 어디에 초점을 두는지에 관한 관점의 차이입니다

[@Kimjaehoon06]

섬네일 보고 최대우가 누구야? 햇는데 maximum likelihood estimation 이엿군요

[@AngeloYeo]

으헝... ㅠㅠ 최대우도법이라는 말을 잘 안쓰나용...? ;ㅁ;

[@Kimjaehoon06]

공돌이의 수학정리노트 아무래도 제가 영어를 많이 보다보니 생긴 부작용 인거 같아요. 아마 최대우도법이라는 말 많이 쓸거 같아요.+좋은 영상 감사합니다

[@AngeloYeo]

저두 사실 영어로 된 내용을 더 자주 보는 편인데... 정석적인(?) 용어인것 같아서 MLE를 이렇게 써보았십니닷 ㅎㅎ 감사합니다 ~

[@user-fz2ir8kc6z]

공돌이 수학노트님을 국회로~~~

[@AngeloYeo]

으앗 늦게봤습니닷 ㅋㅋ 감사해용 ♡

[@qwerty7621]

미친설명

[@AngeloYeo]

감사합니다 ♥

[@five-am]

왜 시그마가 아니라 프로덕트를 쓰는건가요?

[@AngeloYeo]

독립적으로 연달아 일어나는 사건들은 확률을 곱하여 최종 확률을 표현해주기 때문입니다.

[@five-am]

@@AngeloYeo 아하... 모든 샘플데이터를 하나로(최종결과로) 보고 likelihood를 구하는거군요. 감사합니다!

[@hyunsoojeon5689]

사랑해 뽀뽀쪽

[@AngeloYeo]

알러뷰 투 맨