가우시안 혼합 모델 (GMM) & E-M 알고리즘

글로 정리된 곳: angeloyeo.github.io/2021/02/0...
---
커피 한 잔의 후원이 큰 힘이 됩니다.
후원하기(카카오페이): qr.kakaopay.com/2810060110000...
후원하기(송금): 우리은행 1002-036-488593 (여동훈)
--
영상에서 사용된 모든 MATLAB 코드는 아래의 github repo에서 받아가실 수 있습니다.
github.com/angeloyeo/gongdols
--
영상 촬영 시 이용한 장비/프로그램 정보입니다.
[필기]
- iCanNote (필기 프로그램)
- 가오몬 타블렛 1060 pro
(link.coupang.com/re/CSHARESDP...)
[마이크]
- Rode NT USB 마이크
(link.coupang.com/re/CSHARESDP...)
[캡쳐 프로그램]
- OBS Studio
#공학수학 #공돌이

[@schoi9934]

영상 감사합니다! MATLAB 라이브러리 함수 사용하다가 궁금한게 있었는데, 진짜 ㅎㅎㅎㅎ 왠만한건 다 정리해주셨네요 큰 도움이 되었어요~ 그래서 후원도 했습니당! 더 좋은 영상 많이 만들어주세요~

[@cylanokim]

자세한 강의 정말 감사합니다 :)

[@user-vm7cy1wf6x]

목소리도 좋으셔요 감사합니다

[@lauratan4392]

영상 넘넘 감사합니다ㅎㅎ 그리고 목소리 넘 좋으세요!!ㅋㅋㅋ

[@gxhoi]

ㄷㄷ 강의 진짜 잘하시네..

[@woogen1206]

구독을 안 누를 수가 없네요 ... 감사합니다!

[@user-tj7lq6wr1e]

정말 항상 궁금한 곳을 시원하게 긁어주시네요 ㅠㅠ 저같은 문돌이에게 너무나도 감사한 존재이십니다! 항상 감사합니다 !

[@user-de1jv2vn5n]

목소리가 참 좋으시네요💕 내용은 물론 이해 못했읍니다🥲🥲🥲

[@AngeloYeo]

😇 아리가또유....

[@jyc3282]

드디어 올것이 왔군

[@AngeloYeo]

간간히 이런 레벨도 올라가야하지 않겠습니까 😂😂

[@KwangrokRyoo]

헐 선좋아요 후감상

[@AngeloYeo]

필요하셨던 내용이었나요 😁😁 댓글감사합니당

[@user-yi5dn1ww3s]

계양구에서도 잘 보고 갑니다~~~

[@AngeloYeo]

구청장님 강림 무엇...😇

[@donghyunlee801]

와우~감사합니다.

[@AngeloYeo]

매번 와주셔서 감사해용 🥰

[@user-ud6xc7mn2h]

안녕하세요. 좋은 강의영상 제공해주셔서 정말 감사합니다. 혹시 EM알고리즘 E스텝에서 확률을 구할때, 가우시안분포에다가 x를 대입하면 확률이 아닌 확률밀도가 나온다고 알고 있는데, 이에 대해 여쭤봐도 될까요??

[@user-jx5qy5cx8w]

전공 교수님 보다 설명 잘 하시네요 감사합니다!

[@AngeloYeo]

좋게 봐주셔서 감사해요 😁

[@jameskim9888]

명확한 설명 너무 감사합니다 궁금한게 E step에서 처음 w를 어떻게 정하나요? 랜덤하게 하는건가요?

[@AngeloYeo]

랜덤하게 하셔도 좋고, 보여드린 예시에서는 처음에 모두 0으로 설정한 다음 E step을 바로 진행해보았습니다.

[@wonjinsung7794]

안녕하세요! 머신러닝 공부중인 대학생입니다. 영상 보고 GMM, EM 알고리즘이 어떻게 작동하는지 잘 알게 되었습니다. 공부하던 중 궁금한게 하나 생겨 질문드리고자 합니다. 들어주신 예제에서는 표본의 모집단이 2개로 나뉘고, PDF도 2개인 것으로 가정하셨는데 주어진 표본의 모집단이 몇 개인지 모를때는 보통 어떻게 처리하게 되나요?

[@AngeloYeo]

그건 hyperparameter입니다. 유저가 판단하여 직접 설정하면 됩니다. 논문이나 이전 연구 참고하여 결정하세요.

[@cardypark]

안녕하세요, 강의 감사합니다. 혹시 수식에서 뮤, 시그마 로만 표현이 되어있어서 조금 헷갈리는데, 모수로 GMM을 사용하고 있고 따라서, 실제 계산할 때는 뮤k , 시그마k (k는 가우시안 개수) 의 합으로 표현되는게 맞을까요? 앞서 나온 GMM과 그래서 EM이 무슨 관곈지, 굳이 MLE가 아니라 EM을 써야하는 이유에 대해서 궁금증이 있어 여쭙니다. 감사합니다.

[@AngeloYeo]

안녕하세요! 질문이 여러가지인 것 같은데요. 1. 모수로 GMM을 사용하고 있고 따라서, 실제 계산할 때는 뮤k , 시그마k (k는 가우시안 개수) 의 합으로 표현되는게 맞을까요? --> 질문을 잘 이해하지 못했습니다. 조금 더 풀어서 설명해주세요. 2. 앞서 나온 GMM과 그래서 EM이 무슨 관곈지, --> GMM은 EM 알고리즘의 하위 분류라고 생각하면 됩니다. 그러니까, 데이터의 라벨이 주어져있지 않을 때 데이터가 분포한 형태만을 가지고 확률 분포를 fitting하는 알고리즘을 EM 알고리즘이라고 (후려쳐서) 생각한다면, GMM은 확률 분포가 가우시안 분포로 선택한 경우라고 할 수 있습니다. 3. 굳이 MLE가 아니라 EM을 써야하는 이유에 대해서 궁금증이 있어 여쭙니다. --> 영상에서도 언급했듯이 EM 알고리즘은 데이터의 라벨이 주어져있지 않은 경우에 데이터를 fitting할 수 있는 가장 적절한 확률분포의 모수를 추정하는 방법입니다. "라벨이 주어져 있지 않다"는 것이 포인트입니다.

[@cardypark]

@@AngeloYeo 안녕하세요, 빠르게 답변해주셔서 감사합니다! 1번 질문의 경우 8:45 E-step에서 수식의 경우 p(z^i = j| x^i; phi, mu, Sigma) 를 보면 mu와 Sigma가 GMM의 경우 가우시안 여러 개가 혼합된 모델이니 합쳐진 표현으로 이해하면 되는 걸까요? 라는 질문이었습니다. 2,3번 이해되었습니다. 감사합니다. :)

[@AngeloYeo]

@@cardypark 안녕하세요. E step에서 말하는 확률값들은 mu, Sigma 자체를 말하는 것은 아니구요. 각각의 데이터들이 각 분포에 속할 확률을 말하는 것입니다. GMM을 쓴다고 해서 이 값들이 합쳐지거나 하지 않습니다.

[@cardypark]

@@AngeloYeo 아.. 이해하였습니다. 제가 GMM에 대해 오해하였습니다. 감사합니다!

[@jyr2173]

좋은 영상 감사합니다! 혹시 파이썬으로도 구현해보신 적 있으신가요?

[@AngeloYeo]

안녕하세요~ ㅎㅎ 아니요 파이썬으로는 구현해보지 않았습니다.

[@jobsub2613]

혹시 교점을 구할 수 있나요?

[@AngeloYeo]

정규분포 식을 이용하면 되겠지요?