주성분 분석(PCA)의 기하학적 의미

글로 정리된 곳: angeloyeo.github.io/2019/07/2...
---
커피 한 잔의 후원이 큰 힘이 됩니다.
후원하기(카카오페이): qr.kakaopay.com/2810060110000...
후원하기(송금)
- 카카오뱅크 3333-15-3394161 (여동훈)
- 우리은행 1002-036-488593 (여동훈)
--
영상에서 사용된 모든 MATLAB 코드는 아래의 github repo에서 받아가실 수 있습니다.
github.com/angeloyeo/gongdols
--
영상 촬영 시 이용한 장비/프로그램 정보입니다.
[필기]
- iCanNote (필기 프로그램)
- 가오몬 타블렛 1060 pro
(link.coupang.com/re/CSHARESDP...)
[마이크]
- Rode NT USB 마이크
(link.coupang.com/re/CSHARESDP...)
[캡쳐 프로그램]
- oCam
#PCA #기계학습 #선형대수학

[@hyungjin6970]

좋은 강의 정말 감사합니다! 큰 도움이 되었어요~!!

[@cozyboyboi5427]

항상 학문을 바라봄에 있어서 시각적으로 새로운 인사이트를 주시네요 항상 설명에 감탄하고 감사하고 갑니다 😊

[@user-bx3oq5th6y]

너무 좋아요. 좋은강의 감사합니다.

[@wodudqkr9606]

정말 감사합니다 :) ㅎㅎ 너무 잘 설명 해주시네요 ㅎㅎㅎ

[@chessstrategy8833]

유저에게 친절한[user-friendly] 설명법, 고졸만 되어도 이해할 수 있는 직관적 설명과 배려, 대단합니다.

[@user-qh7yq8tp5k]

좋은 강의 감사합니다! 너무 설명을 잘하시는 것 같아요!

[@AngeloYeo]

재밌게 봐주셔서 감사합니다 ^^~

[@kdw4537]

영상이 더 발전하는거 같아서 좋네요

[@taeyunkim5973]

감사합니다. 몇 번 반복해서 보니 이해가 됩니다.

[@AngeloYeo]

이해에 도움 되셨다니 다행입니다 ^^~

[@euntaekyoon5730]

설명을 참 잘하시네요..!! 잘 배웠습니다~~~

[@sando_7]

AI분야 중 GAN에서 공분산 행렬 개념이 자주 등장해서 제대로 이해하고 싶었는데 본 영상을 통해서 차원축소 개념을 이해하는데 큰 도움이 되었습니다. 감사합니다 :)

[@user-rb2ys5ih6q]

진짜로 너무 감사합니다,, 이런 영상 너무 좋아요

[@AngeloYeo]

도움 되었다면 좋겠습니다 😁😁 들려주셔서 감사합니다

[@minoh1543]

기다렸습니다!

[@AngeloYeo]

오래 기다리셨습니다!! ㅎㅎ

[@user-ws9tg7cv2y]

좋은 강의 감사합니다 ^^^

[@AngeloYeo]

재밌게 봐주셔서 감사합니당 😁

[@user-vm2hf5nz8q]

유료강의보다가 강사가 설명을 잘 못해서 이해가 안갔는데, 이 영상보고 바로 이해되어버림........... 구독누릅니다

[@faketrue6283]

선생님 감사합니다 !!

[@ace3227]

오오.. 이 중요한 내용을 감사합니다

[@AngeloYeo]

예전 영상보다 조금 더 컴팩트 하지만 이해는 좀 더 쉽게 하실 수 있게 영상 다시 촬영했습니다 ^^ Ace님 들려주셔서 감사해용

[@minimanimo2817]

강의 최고예요!!!!!!!!

[@AngeloYeo]

감사합니다 😍

[@user-un2oe3ej6f]

최고입니다. 대학에서 강의를 듣다가 모르는 부분이 있어서 왔습니다. 퀄리티에 얼마나 신경쓰셨을 지 감도 안오네요.

[@ssootube]

넘 좋습니다~~~쑤튜브도 이 영상을 추천합니다

[@AngeloYeo]

오 쑤튜브님이 와주시니 감사하네요 ^^~

[@ssootube]

@@AngeloYeo 이렇게 영상이 좋아버리면~~~추천할 수 밖에 없지않습니까!ㅋㅋㅋㅋ♡♡♡♡

[@AngeloYeo]

오잉 ㅋㅋ 격한 칭찬 감사합니다 ㅋㅋㅋ

[@gusdh5929]

진짜 공부하다가 모르는거 나오면 찾아보는데 없는게 없어요 ㅋㅋ

[@omoideinmyhead6938]

유익한 강의였습니다! 그리고 12:26에서 웃었습니다 ㅋㅋ

[@user-fk6du3dt5p]

자세히 이해는 못하고 있었는데 감사합니다ㅜㅜ

[@AngeloYeo]

넵^^ 도움 되었다면 다행입니다 ㅎㅎ

[@youngeunkoo2169]

이전 영상이랑 같이 보니까 더더욱 좋네요!! 벡터 직교성의 의미에 대해서도 영상 하나 만들어주시면 안되나요?ㅠㅠ

[@AngeloYeo]

재밌세 봐주셔서 감사합니다 ~ ㅎ 직교성에 대해서 어떤 부분이 필요하실까요? 제가 감이 잘 안와서... 조금 더 자세하게 말씀해주시면 준비하는데 더 도움될 것 같습니다 !

[@youngeunkoo2169]

잘 모르겠어서 어떻게 설명해야 할지 모르겠지만..ㅠㅠ "벡터의 내적과 정사영" 관련 강의나 "특이값 분해" 강의에서 보면, 직교하는 두 벡터에 대한 이야기가 나오더라구요ㅠㅜ 제대로 설명드리지 못해 죄송합니다...;;;;

[@AngeloYeo]

음... 저두 좀 더 고민해보겠습니다 ㅎㅎ 특이값분해 내용도 다시 촬영할 예정이어서요 ㅎㅎ 직교성에 대해서도 조금 깊이 생각해봐야겠네요

[@user-jm4su1nj2i]

좋은 강의 감사합니다. 혹시 고유 벡터에 데이터셋을 정사영 시키는 매틀랩 코드 부분도 리뷰해주실 수 있을까요? 직접 실습을 해보고 싶은데 매틀랩 사이트에는 해당 예시가 없어서 궁금했습니다. 차츰 정사영 되는 부분이 직관적으로 이해하기 좋은 것 같아서 해당 부분 코드 리뷰해주시면 정말 좋을 것 같습니다. ㅠ 감사합니다.

[@dukeyin1111]

고등학생한테 보여줘도 이해 할듯 감사합니다

[@yechankim9231]

최고의 명강의입니다. 저희 학교 교수님이 되어주세요.

[@AngeloYeo]

혹시 교수를 투표로 임용하시나요? 🙊 그러면 저도 가능성이 ... 👍

[@hp-qx7tf]

그림하고 설명이 잘 나와있어서 이해가 쏙쏙 되네요. 다른 설명을 찾아봐도 왜 공분산행렬의 고유벡터로 정사영시 분산이 최대가 되는지 안나오더라고요. 감사합니다! 오래된 영상인지 압니다만 혹시나 해서 묻습니다. 첫번째 질문은 공분산행렬의 고유벡터와 정사영시의 분산의 관계가 수학적으로는 이해가 됩니다만 직관적으로 이해가 안되는데 혹시 좀 더 직관적인 이해 방법이 있을까이고, 두번째로 다차원 데이터의 경우 2번째로 큰 고유값을 가진 고유벡터가 앞선 고유벡터와 orthogonal하며 정사영시 다음으로 큰 분산을 가지는데 이것은 왜 이런것인지 알 수 있을까요?

[@user-ni7re5tl4u]

안녕하세요 궁금한점이있어 질문드립니다! 데이터분포를 나타낼때 Vx Vy 만으로는 데이터의 기울어진 정도를 나타내기어려우므로 cov항으로 y값일때 x의 값을 보정 x값일때 y값을 보정 해줘서 기울어진정도를 나타내도록 행렬로 나타낸게 맞을까요?

[@jkim9931]

강의 감사합니다! 8:20 공분산 행렬에서 고유벡터와 고유값의 의미 (나중에 다시 볼 것 - 미래의 저에게 남기는 답글입니다 ㅎㅎ)

[@sy1178]

선생님 질문이 있는데 5:08 공분산 행렬로 원래 형태를 선형변환 한다는 의미가 잘 이해가 안되는데요. 요인 간에 어떠한 연관정도도 없다면 normal distribution 되는게 맞으나 이 데이터들은 요인간에 연관정도가 있기 때문에 데이터의 분포는 이를 반영해서, 마치 공분산 행렬로 선형변환 해준 형태로 나타난다 이렇게 이해하면 될까요??

[@AngeloYeo]

네 맞습니다~ 잘 이해하신 것 같은데요? 그렇게 이해하셨다면 맞습니다 ^^~

[@Amolang991]

covariance matrix에서 eigen vector를 구하는건가요?

[@hyangpyokim3577]

시간에 대한 3차원 데이터 (속도) 에서 변화율이 가장 작은 방향의 고유벡터를 구하는 방법이 있을까요?

[@user-lx4np2hz3k]

PCA가 뭔지 궁금해서 공돌이님 선형대수 설명 강의를 처음부터 듣고 드디어 여기까지 왔네요!! 이 영상에서 궁금한 점이 있는데요! 공분산 행렬을 계산해서 고유벡터와 고윳값을 구하고, 정사영할 적절한 벡터를 찾는 것이 핵심이라는 것은 이해를 했는데, 고유벡터에 데이터를 정사영하여 얻은 'variance가 최대'라는 것이 의미하는 바를 잘 모르겠습니다... 정사영했을 때 variance가 최대가 되는 벡터가 최적의 결과를 내는 것인가요? 만약 맞다면 왜 최적의 결과라고 할 수 있는 것인지 잘 모르겠어용 ㅠㅠ

[@AngeloYeo]

PCA를 적용하는 데이터셋은 데이터의 분포 형태가 Gaussian형태일 것이라고 가정하는 것들입니다. 다시 말해서 영상에서 몇 번 보셨을 형태의 길쭉한 타원형의 형태의 데이터 구조를 갖는 데이터에 PCA를 적용할 수 있다고 생각하면 됩니다. 그러면 PCA를 적용하는 궁극적인 목적은 variance를 최대로 하는 것이라고 말씀드렸는데, 그렇게 해주는 이유는 데이터가 어떤 타원형 혹은 럭비공처럼 생겼거나 더 높은 차원에서 그런 구조를 형성하고 있다고 했을 때 가장 멀리 퍼진 방향으로 데이터의 정보가 많이 담겨있을 것이라고 보기 때문입니다.

[@user-lx4np2hz3k]

@@AngeloYeo 그런거군요! 선형대수학 노베였던 고등학생도 이해할 수 있을 만큼 공돌님이 정말 잘 설명해주셔서 PCA까지 잘 이해할 수 있었어요 ㅠㅠ! 정말 정말 감사합니다!!

[@analog1170]

영상 너무 감사해요~ 질문이 있는데, 5:39 "x,y축 방향으로 함께 퍼진 정도" 가 무얼 의미하는건지 정확하게 모르겠습니다. Matrix1과 Matrix2를 비교해보면 그래프상 벡터의 기울기를 의미하는거 같기도 한데, [5,0],[0,1] 벡터를 보면 기울기가 a11,a22인 5,1 에 의해 정해지는거 같아 보여기도 해서요..

[@AngeloYeo]

아 기울기와 비슷하게 볼 수도 있겠네요. x가 커질 때 y 가 얼마나 함께 커지는가라고 볼 수도 있겠습니다

[@youngeunkoo2169]

공돌이님! 하나 궁금한게 있습니다!! 데이터의 변수가 연속값이 아니고, 이산값을 갖는 경우에도 pca를 사용할 수 있나요? 예를 들어서, x1(수학점수) = {0, 15, 50, 80, 100} 이 아니라, x1(수학점수) = {A학점, B학점, C학점, D학점, F학점} 일 때, {0, 1, 2, 3, 4} 와 같이 인코딩하고 pca를 수행할 수 있을까요?

[@AngeloYeo]

제 생각엔 문제없을 것 같습니다~ pca는 어떻게 보면 weight factor를 구하는 문제로도 볼 수 있으니까요~

[@youngeunkoo2169]

@@AngeloYeo 네! 답변 감사합니다!!

[@TheBananakick]

궁금한게 있습니다!!, 3:45 예시에서 정사영하고 내적하고 동일하다라고 말해주셨는데 내적은 공돌님이 알려주신대로 기하학적으로 행벡터길이*열벡터정사영길이 로 이해하고 있어서요 서로 다른개념아닌가요?ㅠㅠ 이게 해결이 안되서 헤메는 중인데 (공분산 행렬로 선형변환한) 데이터를 고유벡터에 정사영할 때 분산이 최대로 된다는 것이 내적이 아닌 단순 정사영으로 설명해주신거라고 이해하는게 맞는지 궁금합니다!!

[@AngeloYeo]

안녕하세요. 여기서는 정사영과 내적에 대한 개념을 혼용해서 사용하고 있었습니다. 그 이유는 고유벡터의 길이는 항상 1이 되도록 맞추기 때문입니다. (고유벡터는 방향만 설명하면 충분하므로) 그래서 어떤 개념을 사용해도 크게 무리가 없을 거라고 판단합니다...

[@TheBananakick]

@@AngeloYeo 아아아!!!! 고유벡터 길이를 1로 조절시킨 후 내적하면 정사영이네요!!! 감사합니다 (_ _) 꾸벅

[@rudah96]

영상 잘 봤습니다! 궁금한 점이 있는데 영어 시험이 더 어려웠다면 영어의 가중치를 더 줘서 종합점수를 산출할때 비중을 6으로 주는게 합리적인게 아닌가요?? 어려우면 그만큼 변별력이 있기 때문에 영어 점수를 더 쳐줘야 한다고 생각하는데 왜 비중을 4로 주는지 궁금합니다!

[@AngeloYeo]

안녕하세요 ㅎ 생각하기 나름일 것 같습니다. 저는 어려우니까 영어가 어려우니까 조금 봐줬다 이렇게 생각했는데~ 목적에 따라 적절히 비율은 선택하면 되지 않을까요? ㅎㅎ

[@rudah96]

@@AngeloYeo 저는 수능에서도 과학탐구 투과목은 원과목보다 어려우니까 가산점을 주는 대학교가 있듯이 어려운 과목에 대해선 비중을 더 높여야 한다고 생각했습니다. 말씀하신 대로 목적에 따라 다르겠네요! 좋은 내용의 영상 감사합니다🙇‍♂️

[@namjookim998]

제가 하려고 하는 질문을 이미 해주셨네요. PCA결과 국어비중6, 영어비중4로 국어비중이 더 높게 나왔는데 제 생각에 그 이유는 영어가 더 어려워서가 아니고 국어점수의 분포가 더 줄세우기 좋게(분산이 높게) 나왔기 때문입니다. PCA는 데이터들을 최대한 줄을 잘 세우기 위한 축을 선정하는 방법이니까요

[@user-ub1oz3ve3f]

저도 이 부분에서 살짝 왜 쉬운 시험에 더 가중치를 주지? 했었는데 변별력이 더 큰 데이터에 가중을 줬다고 생각하면 되겠네요

[@olclocr]

분산 1인 분포에 행렬로 선형변환을 하면 그 행렬이 공분산행렬인 것인가요? 그 부분에서 머릿속에 그림 그리는게 막혔어요. 다시 잘 봐야겠습니다.

[@AngeloYeo]

안녕하세요. 그렇게 보기 보다는 "지금 얻은 데이터가 이런 공분산 행렬을 통해 선형변환된 결과로 보자"라고 보는 것이 더 좋은 접근이라고 생각합니다

[@jiheonkim9413]

안녕하세요 통계학과를 재학중인데, 군 제대 후 듣는 거라 선형대수학 개념을 많이 잊어버린 것 같습니다. 혹시 혼자 공부할 만한 교재 추천해주실 수 있을까요? 그리고 이번 영상에서 정사영(projection) 얘기가 많이 나오는데 정사영에 관해 정리하신 영상도 추천해주시면 감사하겠습니다!

[@AngeloYeo]

안녕하세요. 교재는 Gilbert Strang 교수님의 Introduction to linear algebra 책과 MIT 인강 추천드릴게요. 그리고 projection 관련해서는 angeloyeo.github.io/2020/08/24/linear_regression.html 이 포스트와 angeloyeo.github.io/2020/11/11/pseudo_inverse.html 이 포스트를 참고해보시길 바랍니다 ! 아직 영상으로는 만들지 못한 포스트들입니다~

[@jiheonkim9413]

감사합니다 선형대수랑 회귀 관련 영상 찾아보는데 가장 깔끔하고 블로그에 시각적으로 알기 쉽게 게시해주셔서 정말 도움이 돼요!! 복 받으세요!

[@hananehome2108]

항상 잘보고있습니다. 정말 감사합니다. 궁금해서그런데 혹시 직업이 어떻게되시나요 ㅋㅋㅋ

[@AngeloYeo]

ㅎㅎ 저는 회사에서 연구원으로 재직중입니다. 제 프로필을 보시려면 이 링크에 들어가보시면 보실 수 있습니다 ㅎㅎ www.linkedin.com/in/angeloyeo

[@eggtartning65]

정사영 = orthogonal projection

[@jinbumjoo3908]

안녕하세요. 죄송하지만.. 열들의 평균값이 0(평균값을 빼준 상태)이란 말이 무슨 의미일까요?ㅠㅠ

[@user-tr2ej4ck3s]

심화수학2 세특에 pca분석 사용하기에는 무리일까요 벡터 내적 이것들 다 모르겠는데

[@AngeloYeo]

저는 세특이 뭔지 잘 모릅니다만, 벡터 내적을 모르신다면 벡터 내적을 주제로 해보는 것도 좋을 것 같아 보이네요

[@user-hu1hy1bm8r]

석사 과정 중에 잊어버린 부분이 있어 학습차 찾아보다 아주 좋은자료를 찾았습니다 이해하기 너무 쉽네요~~ 홈페이지도 찾아보니 ppt로는 없던데 혹시 ppt도 제공가능할까요? 출처 공개하고 발표시 참고자료로 사용하고 싶네요~~

[@AngeloYeo]

github.com/angeloyeo/angeloyeo.github.io/blob/master/ppts/3-1-%EA%B3%B5%EB%B6%84%EC%82%B0%20%ED%96%89%EB%A0%AC%EC%9D%98%20%EC%9D%98%EB%AF%B8%EC%99%80%20PCA.pdf 여기서 받아가시면 될것 같습니다 ^^

[@user-hu1hy1bm8r]

@@AngeloYeo 정말 감사합니다 깃허브는 못찾아봤었네요^^

[@AngeloYeo]

원래 공유되어 있거나 그런건 아니고 요청하셔서 올려둔 것입니다 ^^;

[@jinbumjoo3908]

고유벡터에 정사영 시키면 분산이 가장 크다는 말이 공분산이 가장 크다는 말일까요?

[@AngeloYeo]

말 그대로 데이터가 가장 넓게 퍼진다는 의미이고 분산을 말하는 것입니다.

[@jinbumjoo3908]

분산이 큰 쪽으로 정사영 하는 것이 왜 좋은가요?? 분산을 적게 하는게 잘 설명하는거 아닌가요?ㅠ_ㅠ 죄송합니다 이해가 안되서ㅠㅠ

[@AngeloYeo]

@@jinbumjoo3908 우선 PCA를 적용하는 데이터는 가우스분포를 따르는 데이터라는 걸 먼저 생각해야 합니다. 쉽게 말하면 데이터를 2차원 평면에 그리면 타원 형태를 띄는 데이터 라고 할 수 있습니다. 이 때 아주 길쭉한 타원형태로 데이터가 분포한다고 해봅시다. 이때 데이터를 정사영 시키면 평면에서 선으로 (2차원에서 1차원으로) 차원을 줄일 수 있습니다. 아주 길쭉한 타원형의 데이터를 차원감소 시킨다면 분산이 커지는 쪽으로 하는게 좋을까요? 아니면 분산을 최대한 줄여버리는 방향으로 하는게 좋을까요? 어떻게 정사영하는게 원래 데이터의 구조를 잘 유지해주는 차원 감소 방법일까요?

[@jinbumjoo3908]

아 감사합니다. 가우스분포를 가정하고 생각하니 말이되는 군요!

[@namjookim998]

1.공분산행렬은 데이터를 퍼지도록 선형변환 시켜준다. 2.데이터의 공분산행렬은 그 데이터가 퍼진 모양을 나타낸다. 1.에서 2.로 넘어가는 과정이 이해가 안가요.

[@AngeloYeo]

안녕하세요. 일단 데이터의 구조를 표현해준 행렬이 공분산 행렬이라는 것은 이해하신 걸로 보입니다. 그러면, 데이터가 퍼지도록 선형변환 시켜준다는 의미에 대해서 다시 한번 생각해보아야 하는데요. 제가 말씀드린 '퍼지게 해준다'는 것의 의미는 지금의 데이터의 분포에 대해 “원래의 원의 형태로 주어졌던 데이터가 선형변환에 의해 변환된 결과로써 보자”라는 관점에서 데이터를 보자는 의미입니다. 좀 더 자세한 설명은 제 블로그 글에 있는 공분산 행렬의 기하학적 의미 부분을 살펴보시면 더 좋을 것 같습니다. (angeloyeo.github.io/2019/07/27/PCA.html)

[@kookiinaomip8270]

PCA는 공분산 행렬을 기반으로 합니다. 데이터의 분산을 최대화하는 방향으로 축을 회전시켜, 가장 중요한 정보(주성분)를 포착하고 차원을 축소합니다. 이를 통해 데이터의 복잡성을 줄이고, 계산 효율성을 높일 수 있습니다.

[@helookscool]

형....천사야? 지장보살이신가.... 지옥에서 구원해주네? ㅋㅋㅋ

[@AngeloYeo]

첨지형 기분좋게 뜨끈~한 설렁탕 한그릇해 😁

[@user-xt6yd7cn6v]

9:21