특이값 분해(SVD)의 기하학적 의미와 활용 소개

[@최지수-u6o]

공돌이님 덕분에 좋은 강의, 좋은 자료, 잘 정리된 위키북스까지 돈없이도 공부할 수 있어서 좋아요. 저는 책 사볼 돈도 없는 사람인데 이런 좋은 자료는 너무 감사해요.

[@nax2kim2]

제가 다시 보려고 인덱싱하고 갑니다 좋은 영상 정말 감사합니다 11:50 차원내리기(3차원 공간 -> 2차원 공간으로 차원 낮춤) 14:00 시그마 (수식으로 적으면 14:17) 18:00 U,V 계산법 20:50 SVD의 목적 : 정보량(시그마=스칼라값)의 크기에 따라 A를 여러 레이어로 쪼개준다

[@AngeloYeo]

네넹~~^^ 재밌게 봐주시는 것 같아서 보기 좋습니다 ㅎ

[@이상의-t5w]

좋은 강의 감사합니다. 많은 궁금증을 해소해주는 강의였습니다.

[@CodingoKim]

뭐랄까 ... 엄청납니다! 참 엄청나요! 인사이트까지 연결해주시니 감사할 따름이고, 기하학적으로도 이해할 수 있어서 너무 좋아요

[@junwoochoi1631]

감사합니다 공돌이님 영상 2회 정독중입니다. 다른분이 정리한 것은 몇번을 읽어도 이해 안되 었지만 이제 이해 되고있습니다.

[@AngeloYeo]

축하드립니다 ^^ 도움이 된다니 다행입니다

[@Beetlebumy]

저는 한국어 배우는 스위스 사람이고 재 전공은 컴퓨터 과학인데 이렇게 linear algebra와 한국말 동시에 공부할수 있네요 ㅋㅋㅋ 좋은 영상 감사합니다.

[@AngeloYeo]

와 ㅋㅋㅋ 제가 살면서 칸 아카데미로 영어랑 수학 동시에 공부할 수 있겠다는 한국인들은 허다하게 봤어도 살다살다 한국어랑 수학 동시에 배워서 좋다는 외국인은 또 처음이네요 ㅋㅋㅋㅋㅋㅋ 환영합니다. 그리고 한국말 짱 잘하세요... ㅋㅋ

[@jihyunkim4315]

시각적 자료로 보여주셔서 너무 감사해요. PCA 공부하다가 여기까지 흘러왔는데, 어떤 영상은 기하학적으로만 설명해주고 어떤 영상은 행렬식으로만 보여줘서 둘이 연결이 잘 안됐는데 공돌이님이 모두 보여줘서 이해하기 수월합니다 ㅜㅜ 감사합니다!

[@tjdgus1999]

단순히 수학적으로 설명하는것들을 봤을때는 와닿지가 않아서 이해가 안됐는데 어디에 활용되는지 왜 쓰는지 설명해주셔서 납득이 되고 이해가 잘 되는것같습니다. 늦었지만 좋은 강의 감사합니다.

[@EnderCreeper0458]

SVD는 매트릭스 분해 operation이였네요... 항상 geometry를 보여주시니 직관적으로 이해가 쉽네요. 좋은 영상감사합니다. 주말에 한번 깊게 공부해봐야겠어요.

[@AngeloYeo]

네 맞습니다 여러가지 분해 operation 중 하나입니다 ^^ 항상 댓글 달아주시는 정성에 감사드려요 ~ 열공하시고 기분 좋은 하루 보내세요!

[@qkrtmddn0507]

컴퓨터 비전 주니어 개발자 입니다. 카메라 캘리브레이션 공부하는데 SVD과정이 이해가 안갔는데 공돌이 님 덕분에 한번에 이해가 갔습니다. 감사합니다.

[@jonnas221]

재미있게 잘 보았습니다. 감사합니다

[@johy2719]

영상 잘 보고 있습니다 감사합니다~

[@user54246]

데이터 사이언스, 머신러닝 관련 일을 하고 있는 사람입니다. 부끄럽지만 차원 축소 기법으로 SVD를 꽤 쓰면서도 정확히 무슨 내용인지는 잘 모르고 썼었는데, 이 영상덕분에 정리가 꽤 됐습니다. (아직도 완전한 이해는 안 가지만요ㅠ) 감사합니다.

[@김수연-r8c]

좋은 영상 감사합니다~ SVD 이해하는데 많은 도움이 되었습니다~

[@AngeloYeo]

별말씀을요... ㅎ 좋게 봐주셔서 감사합니다 :)

[@feelpassion1]

정성이 가득한 영상 넘 감사합니다!

[@undukkim9487]

감사합니다. 8월에 svd를 처음 공부할 때 이 영상을 보고 '뭔소린지 모르겠다 😵' 이랬는데.. 공돌이님 다른 기초 영상도 보고 3개월 지나고 다시 보니 선형 변환에 대한 개념이 조금 잡혀가네요 허허 nlp 공부하는 중인데 공돌이님 덕분에 걸음마 띠고 있습니다 ㅠㅠ

[@yj2779]

Excellent video and demos with many example. Using Lenna gives a clear picture of the usage!

[@AngeloYeo]

Hi YJ. Thanks for watching. Hope my video helps understanding SVD.

[@_sanso9994]

svd를 이렇게 쉽게 알 수 있는 채널을 알게 되어서 정말 감사드립니다 😁😁😁

[@AngeloYeo]

반갑습니다 조민동님 ;)

[@assembly5298]

와 천상의 강의십니다.ㅠㅠ 감사합니다.

[@jeongmoseong3958]

정말 좋은 영상이네요. 영상으로 보니까 글로 보고 이해하는 것보다 훨씬 빠르게 와닫네요.

[@AngeloYeo]

이해에 도움 되었다니 다행입니다 ^^

[@큘론큘론]

진심으로 큰 도움이 됬습니다. 정말 감사합니다 직관적으로 이해할 수 있는 데이터 만들어 주신것도 감사합니다

[@jwchoi7070]

와.. 15:00 SVD를 이렇게 깔끔하게 설명하시네..굳입니다

[@AngeloYeo]

재밌게 봐주셔서 감사합니다 ^^~

[@김병균-u7v]

매우 좋은 내용의 영상 감사합니다~ ^^

[@Ken-lr6pn]

진짜 도움이 많이 되는 영상들 감사합니다!

[@kenyoon2769]

정말 좋은 동영상 감사합니다. 공부하는데 큰 도움이 됩니다!

[@AngeloYeo]

도움 되었다니 다행입니다 😁😁

[@suneungpark]

이해가 매우 잘 되었어요!! 감사합니다.

[@AngeloYeo]

도움 되었다니 다행입니다 ^^ 댓글 감사드리고 새해복 많이 받으세요 :)

[@jssseh]

여태껏 제가 배웠던 SVD는 U와 V를 무작정 구하는것에 초점을 맞췄고 이유도 모르고 AAT, ATA의 eigen value를 계산하고 암기식으로 외웠었어요. 근데 공돌이님 강의는 U와 V의 의미까지 배우고 직접 매트랩으로 실습까지 하니까 훨씬 이해가 빠르네요. 역시 백문이 불여일견인것 같습니다

[@AngeloYeo]

전수현님 안녕하세요~ ㅎㅎ 선대 공부하시나봐요 ㅎㅎ SVD 쯤 배우셨으면 어지간한 기초는 공부하신 상태라고 봐도 괜찮겠네요 ㅎㅎ 제 설명이 군데군데 비는 것은 많아도 최대한 이해하기 쉽게 도움드리고자 했는데 도움 되었다고 하시니 다행입니다 ^^

[@damidang]

Aat ata의 역할은 회전 반사 , 아이젠밸류는 축의 축소확대로 기하학적 의미로 생각하시면 직관적으로 이해됩미다!!

[@끈기-n8d]

17:21 특이값 분해와 고윳값이 연결되는 부분. 이 영상에는 포함되진 않았지만 특이값을 이용하는 과정에서 고윳값이 어느 시점에 개입되는지 알려주는 지점.

[@김태양-l6f]

mit오픈코스를 쌩으로 들었더니 이해가 잘 안됐는데 이 영상이 많이 도움됐습니다 감사합니다

[@user-hb5jj8lc8l]

와 진짜 미쳤다 이런 강의를 이제야 보다니...그림 자료랑 같이 설명해주니 전달력 짱이에요ㄷㄷ

[@dongookson3755]

영상 정말 잘 봤습니다. 감사합니다.

[@AngeloYeo]

재밌게 봐주셔서 감사합니다 ^^ 도움 되었으면 좋겠습니다 ♡

[@redhorseo]

영상 감사드립니다. 교재들을 봐도 SVD를 왜 하는지, 각 행렬의 의미가 뭔지 이해하기 어려웠는데 동영상 덕분에 이해할 수 있었습니다.

[@AngeloYeo]

이해하시는데 도움 되었으면 다행입니다 :)

[@임상일-h7f]

애매하게 이해하고 있었는데, 확실히 직관적으로 이해할 수 있었습니다. 명강의 감사합니다.

[@AngeloYeo]

도움 되었다니 다행입니다 ^^~

[@귤-e5g]

학교 강의 듣다가 이해가 안돼서 찾아왔습니다... 여전히 완전히 이해된건 아니지만, 다른 접근법으로 보게 해 주셔서 좋네요. 감사해요!

[@AngeloYeo]

환영합니다 ㅎㅎ 고민의 시간을 충분히 가져보시면 답이 보이실겁니다!

[@Jay-z2l4e]

진짜 너무너무 좋은 영상입니다, 개인적으로 SVD 세미나 준비로 보고 있는데 너무너무 도움되네요. 감사합니다

[@AngeloYeo]

좋게 봐주셨다니 다행입니다 ^^ 도움 되셨으면 좋겠네요 ㅎ

[@abidan88]

svd 개념이 어려워서 고통받고 있었는데 덕분에 치료되었습니다. 영상 찍어주셔서 감사드립니다!!

[@AngeloYeo]

도움 되었다니 다행이네요 ^^~

[@일하기싫고돈벌고싶다]

파이썬 하지만 너무나 잘듣고있습니다. 5월1일 행렬도 모르고 시작한 32살인데 오늘 회귀분석 끝내고 머신러닝 들어갑니다.... 고등수학까진 2주만에 어찌 햇는데... 인강에서도 다 걍 넘어가버려서 정말 힘들었는데 선생님 강의덕에 ㅠㅠ 이해 합니다.... 감사합니다 ㅠㅠ pca를 이해하다니 넘 감격이에요

[@bm6956]

너무 좋습니당 감사해요!

[@AngeloYeo]

bw min님 안녕하세요~ 꾸준히 영상 봐주셔서 감사합니다 ㅎ 도움이 되었으면 좋겠습니다 ㅎ 댓글 감사합니다! 기분 좋은 주말 보내세요~

[@안-b5u]

존경합니다 감사해요

[@AngeloYeo]

김예빈님 도움이 되었다면 좋겠습니다 ㅎ 부족한 영상임에도 봐주셔서 감사해요 ㅎ

[@eyeye8237]

마지막 사진 합치는거 보니 퓨리에 변환같다는 생각이 확 드네요! 각 행렬이 퓨리에 변환에서의 주파수같이 하나의 성분역할을 하는건가요??강의 정말 잘 봤습니다!직관적 이해에 많이 도움이 됩니다 번창하세요

[@hyungmincho1305]

선형대수학에 대한 기초지식없이 dynamic mode decomposition 공부를 하다가 막히는 부분이었는데 정말 감사합니다!!

[@starriet]

선형대수 계의 중간보스 곰돌이님 가쥬아.!!!

[@최서연-y1n]

고생하셨어요~

[@chanwoolee6050]

이건 저포함 선형대수 공부하는 학생들이 들으면 정말 큰 도움이 될만한 영상이네요... 정성이 느껴지는 강의입니다. 감사합니다!

[@joonsangpark8351]

이채널 왜 대박 안나지??

[@AngeloYeo]

ㅋㅋㅋ... 대중적 수요가 많이 없기 때문이겠죠

[@joonsangpark8351]

@@AngeloYeo 옹 답글까지 달아주시네 영상 잘보고 있습니다!! ㅋㅋㅋ 공돌이들 모여라!

[@uln0]

최고의 영상 …..

[@jiyoonpark5022]

영상 너무 잘 보고갑니다!

[@AngeloYeo]

넵 ^^~ 도움 되었다면 다행입니다 !!

[@그이름은보황]

진짜 이해 잘가요~ 감사합니다

[@홍지예-d4l]

재밌어요~ 감사합니다~

[@AngeloYeo]

재밌게 봐주셨다니 다행입니다 ^^ 감사합니다

[@김진영-d9o]

과기원 교수님들도 저를 이해시키를 실패하셨는데, 공돌이님이 성공하셨군요.. 훗..:)

[@AngeloYeo]

후후 이해하는데 도움 되었다면 다행입니다 😁😁

[@salingered]

감사합니다!

[@ssdhdd124]

너무 좋다..후. 감사합니다

[@sungyunpark1366]

정말 잘봤습니다. 마지막에 이미지에다가 적용했는데 제가 이해한 바로는 처음에 즉 레이어들이 적을때는 그냥 모자를 쓴 여자구나 정도 파악할수 있었는데 즉 저상태의 레이어들이 정보량이 많다고 이해했습니다. 일단 모자를 구성하는 요소들은 사실 매우많습니다 깃털부터해서 모자를 두르고 있는띠까지 하지만 일단 "저게 모자다!" 라는것을 기본적으로 표현해주는 레이어가 정보량이 많은레이어인거고, 레이어들이 많아질수록(쪼개질수록) 각레이어마다 정보량이 적어지지만 세세한걸 표현할수있는거죠. 저는 그래서 처음 레이어가 3개일땐 모자 여자 그리고 배경정도? 이렇게 단순하지만 각레이어들의 정보량이 많은거고, 레이어수가 많아질수록 모자, 모자를두른 띠, 모자주위의 깃털, 여자 화장의 정도, 등등 수많은 세부정보를 각레이어들이 정보량은 적지만 표현해주는거죠. 저는 이렇게 이해했습니다. 따라서 정보량이 많은 적은수의 레이어들만 가져온다면 저화질이고, 그리고 세세한 정보가 아닌 큰정보 즉 "모자를쓴 여자다" 라는 정보만 표현해주는거죠. 제가 이해한방법이 맞는진 모르겠지만 영상 매우잘봤습니다. 감사합니다.

[@AngeloYeo]

안녕하세요^^ 아주 잘 이해하셨다고 생각합니다 ㅎㅎ 사실 '정보량'이라는 표현이 여기서는 매우 애매하게 쓰여졌기 때문에... ParkSungyun님처럼 이해하시고 설명하시는게 더 적절한 설명방법이 아닐까 생각합니다 ㅎ 세세한 댓글에 감사드립니다 :) 좋은 밤 되세요~!

[@soo-im]

큰 도움 되었습니다 감사합니다!

[@AngeloYeo]

안녕하세요~ 도움이 되엇다니 다행입니다 ㅎㅎ 부족한 영상임에도 봐주셔서 감사합니다!

[@jkhong25]

음.. 공돌님 궁금한게 있습니다. 우선, 행렬 곱을 바라보는 시각이 총 4개가 있다고 알고 있습니다. 1) 행벡터와 열벡터의 내적 2) 열벡터의 선형 조합 3) 행벡터의 선형 조합 4) 열벡터와 행벡터의 곱이 모두 더해진 형태로 말이죠. 근데 SVD의 경우에는 20:03에서 표현하신 것과 같이 4)의 관점으로 행렬 곱을 생각해볼 수 있는 것 같아요. 근데 이 부분이 뭔가 직관적으로 탁 받아들여지지가 않습니다. 음.. 궁금한 부분을 좀 더 자세히 말씀드리기 위해 부연 설명을 하자면, A행렬이 mxn이라고 했을 때, V행렬을 자세히 생각해보면, R^n공간에 있기 때문에 행렬 A의 행벡터와 영벡터로 이루어진 공간상의 직교하는 기저벡터들로 이루어진 행렬이라고 생각할 수 있을 것 같습니다. 마찬가지의 방법으로 U행렬은 행렬 A의 열벡터와 Left Null space로 이루어진 R^m공간상의 직교하는 기저벡터들로 이루어진 행렬이라고 생각할 수 있을 거구요. 그러면 u1*v1'를 통해 계산되는 행렬은 R^n 공간상의 한개의 기저벡터와 R^m 공간상의 한개의 기저벡터를 통해 생성되는 행렬을 의미하는데, 이게 기하학적으로 어떤 의미인지 잘 모르겠습니다. 혹시 이 부분을 뭔가 기하학적으로 해석하는 방법이 있을까요?

[@AngeloYeo]

안녕하세요. 행렬에 대해 굉장히 잘 이해하고 계신 분이신것 같네요. 어떤 행렬을 그림이라고 본다면, u1*v1'은 레이어 하나라고 볼 수 있지 않을까요? 포토샵에서의 레이어 말이죠. 여기서 sigma1 은 그 레이어의 중요도? 불투명도? 정도로 해석해도 괜찮지 않을까요? 혹시 더 기하학적으로 해석한다는 것이 어떤 것인지 ... 아이디어가 더 떠오르지 않습니다 ㅠㅜ

[@jkhong25]

@@AngeloYeo 으음.. 예를들어 행렬의 곱셈을 열벡터의 선형 조합으로 본다는 말은 열벡터들로 이루어진 벡터 스페이스를 스팬 한다고 생각할 수 있어서 만약 A행렬의 rank가 r이라면 R^r 공간을 스팬한다고 생각해볼 수 있는데, u1*v1'는 R^m 공간상의 한 기저벡터와 R^n 공간상의 한 기저벡터를 통해 생성되는 mxn행렬인데, u1과 v1이 각각 열공간, 행공간에 있는 벡터라면 이때 이 열벡터와 행벡터의 곱을 생각해볼때 기하학적으로 또는 어떤 개념적으로 생각해볼 수 있는 해석이 있나 해서요ㅠ 음.. 뭔가 mxn차원을 생성하는 것을 상상해볼 수 있을 거 같기두 하구요.. 네넵 공돌님이 말씀해주신 부분을 잘 이해했습니다ㅎㅎ 감사합니다ㅎㅎ

[@jkhong25]

@@AngeloYeo 제가 뭔가를 궁금해하는지 저두 확 명확하게 그려지지가 않네요ㅠㅋㅋ 흠.. 쨌든 공돌님 영상과 블로그 글로 선대를 좀 더 깊이 있게 이해할 수 있게 된 거 같습니다. 정말 감사합니다ㅎㅎ!

[@geunho__]

목소리가 너무 좋네요 !!

[@AngeloYeo]

ㅋㅋ 감사합니닷 ^^~

[@geunho__]

@@AngeloYeo svd항상 개념이 와닿지않고 가물가물했는데 한번에 이해시킨 당신 정말 능력자인거같아요 고마워요!!!!

[@AngeloYeo]

@@geunho__ 평소 수학에 관심 많이 갖고 계신 것 같네요 ㅎ 도움 되었다니 다행입니다 ~~^^

[@송민영-t7q]

동영상 잘봤습니다!! 근데 singular value 가 클수록 왜 많은 정보량을 가지는 지 , 그 정보량이 이미지에서 왜 윤곽이나 색깔을 의미하게 되는지 궁금합니다.

[@jkhong25]

음.. 제가 이해하기로는 일단, A 행렬이 mxn 이라고 했을 때, 20:03에서 보시는 것과 같이 A라는 행렬을 SVD하면, A와 차원이 같은 mxn행렬 여러개로 쪼갤 수 있는 것을 볼 수 있을 거에요. 이때 각 쪼개진 행렬들에 scaling factor(sigma 요소)들이 곱해지고, 이러한 쪼개진 행렬이 더해져서 A를 표현하는 것을 보실 수 있습니다. 제가 이해하기로는 이 부분이 의미하는 것은 각 쪼개진 행렬들이 "A를 표현하는데 얼만큼의 기여"를 하고 있는지가 scailing factor로 나타내어 진다는 것입니다. 이 부분을 공돌님께서 22:30에서 이미지 파일로 예를 들어주셨는데요, 이미지 파일은 matlab으로 실행시켜보면 512 x 512 행렬로 표현되고 여기서는 이 이미지 행렬이 A라는 행렬로 생각할 수 있겠죠. 따라서 이 행렬을 SVD하면 마찬가지로 여러개의 512x512 행렬로 쪼개지는데, 이 쪼개진 행렬은 각각의 scailing factor로 곱해져있고, 쪼개진 행렬을 더하는 숫자가 많아질수록 원래의 행렬 A와 점점 같아지는 것을 보실 수 있습니다. 따라서, singular value가 크다는 말은 원래 행렬 A에 대한 정보량이 많다는 의미로도 해석할 수 있을 것 같아요!

[@heejuneAhn]

설명중에 직교 기저벡터 셋을 기저벡터셋으로 보낸다는 것은 알겠는데 그 성질이 왜 중요한지에 대한 내용이 동영상에서 언급이 안된 것 같습니다. 제가 이해하는 것은 원 벡터공간에서 입력벡터를 v 로 상분분해한 다음 단순히 상수를 곱하고 즉 고유치를 곱하듯이 한다음 기저백테 변롼을 하는 방식으로 변환 A를 표현하는 것이라고 이해를 하고 있습니니다.

[@724younjinlee]

너무 좋은 강의 잘 봤습니다^^ 공돌이님 덕분에 SVD가 좀 더 이해가 되었습니다!!! 한 가지 질문이 있는데요, A = U, Σ, V^t에서 특이값인 Σ는 AtA의 고윳값(고윳값^1/2)이나 AAt의 고윳값(고윳값^1/2)이 동일한걸까요??

[@AngeloYeo]

네 그렇게 볼 수 있습니다

[@724younjinlee]

@@AngeloYeo 답변 감사합니다^^

[@chanyounglee8914]

공돌님 진짜 명강의세요!! 질문이 하나 있습니다! U 와 V는 고유벡터 순서 그대로 사용하는데 Sigma는 고윳값을 내림차순으로 정렬하여 사용하는 배경이 어떻게 되나요? SVD로 분해된 U, V의 각 원소 벡터들은 가중치가(?) 동일하다는 가정이 있어야 임의순서대로 구해진 Sigma 값을 내림차순 정렬하여 사용해도 될 것 같다는 생각이 듭니다.

[@AngeloYeo]

안녕하세요. 왜냐면 U 나 V나 각 행렬의 열을 구성하는 열벡터는 크기가 1이기 때문입니다. 즉 각각의 열벡터는 방향만을 나타내는 벡터이기 때문에 말씀하신 "가중치가 동일하다" 는 얘기와 부합할 것 같습니다~

[@chanyounglee8914]

​@@AngeloYeo 아하!!!! 결국 U, V 도 각 A.A^T, A^T.A 의 고유벡터니까 크기는 1로 동일하고 방향만 갖는 거네요! 고유벡터가 결국은 방향은 유지되고 길이만 변화하는 벡터니까 "가중치가 동일하다"는 말이 틀린 말은 아니겠네요. 갑자기 퍼즐처럼 맞춰지면서 이해가 쏙쏙 되었습니다! 공돌님 덕분에 선형대수 흥미 붙어서 재미있게 공부하고 있습니다. 어떤 자료들보다 더 쉽고 간결하게 풀어 설명해주시는 능력이 탁월하신 것 같습니다. 영상 하나하나 곱씹어보고 여러번 돌려보면서 정성이 많이 들어간 영상이라는 게 많이 느껴집니다. 진심으로 감사드리며, 2021년 새해 복 많이 받으세요!

[@AngeloYeo]

말씀드리지 않은 내용까지도 다 이해하셧군요 ! ㅎㅎ 말씀하신 배경 부분이 다 맞는 말씀입니다 ㅎㅎ 재밌게 공부하신다니 다행입니다 ㅎㅎ 새해복 많이 받으세요 ~~^^

[@ooppl-k8t]

좋은 영상 감사합니다. 이렇게 쉽게 설명한다는 건 내공이 엄청나 보이네요. 혹시 어떻게 공부하셨길레 이런 내공을 터득하시게 된건지 여쭤봐도 될까요?

[@AngeloYeo]

안녕하세요. 영상 재밌게 봐주셔서 감사합니다. 글쎄요... 학부때 수업시간에 듣는 내용들에 만족을 못하고 스스로 계속 고민해본게 도움이 많이 되었던 것 같습니다 ㅎ

[@ooppl-k8t]

@@AngeloYeo 대단하십니다. 저도 지금 학부생인데.. 본받아야겠습니다.

[@sanghyeonchang2600]

감사합니다. 옛날 영상이라 댓글을 달아주실련지는 모르겠지만 질문이 있어서 남겨봐요. Scaling factor, 즉 정보량의 크기에 따라서 A라는 matrix가 재정렬 된다라고 이해햇을때, 시그마1, 시그마2, ,,,시그마 n 까지의 순서는 크기 순서대로 정리가 되는건가요 ? 그래야 나중에 사진예시를 보여주셨을때, 초반 50번까지의 합으로만으로 선명한 이미지가 나오는반면, 그 이후의 합(정보량의 크기)가 미미해서 큰 변화가 없나 싶어, 제가 이해한바가 맞나 여쭈어봅니다.

[@AngeloYeo]

안녕하세요. 맞습니다. 보통 프로그램에서 특잇값을 정렬해서 출력해줍니다.

[@aerockh]

잘봤습니다~ NMF도 한 번 부탁드려요~ ㅠ 아직 이해를 못했어요.

[@AngeloYeo]

음... nmf는 선형대수라기보다는 머신러닝으로 최대한 nonnegative 원소만을 가질 수 있게 최적화 기법으로 분해하는 방법이라고만 알고 있는데요... ㅎㅎ 저도 좀 더 공부해보는게 좋겠네요... ㅎㅎ

[@AngeloYeo]

안녕하세요. 지금 NMF에 대해 글 작성중인데 하루 이틀 안으로 마무리 되지 않을까 싶습니다... 참고해보시면 좋을 것 같아요 angeloyeo.github.io/2020/10/15/NMF.html

[@고명종-p3t]

저희 학교 교수님보다 훨씬 잘가르치시네요. 감사합니다ㅎㅎㅎㅎㅎ

[@AngeloYeo]

고명종님 격한 칭찬 감사합니다 ^^;

[@quiteSimple24]

설명이 아주 좋고 준비를 많이 하신 게 보이네요. 그런데 그림 예시에서는 이미지 원본이 A라고 하면 A를 저장하지 않고 singular value만 저장해도 된다는 뜻인가요? 이 부분이 좀 이해가 안되네요. 다른 행렬이지만 같은 singular value를 가질 수도 있을 텐데 말이죠

[@AngeloYeo]

안녕하세요. 우선 칭찬의 코멘트 감사드립니다. 이미지를 SVD하는 부분에 있어서 제 설명이 부족했던 것 같습니다. singular value만 저장해도 된다는 뜻은 아니었구요. 조금 구구절절히 설명해보겠습니다... 예를들어서 A라는 image를 SVD했을 때, A = U S V' 와 같이 분해되겠습니다. (여기서 Sigma 행렬: S, V의 전치행렬: V'로 적겠습니다. 또, A는 m x n 행렬이라고 생각하겠습니다. 논의를 간단하게 만들기 위해 m>=n이라고 하겠습니다. 또, 이에 따라 U는 m x m 행렬, S는 m x n 행렬, V'는 n x n 행렬이 되겠습니다.) 이 때, S는 대각행렬인데, 그 대각성분을 크기 순서대로 내림차순으로 s1, s2, s3, ... 과 같이 생각하겠습니다. 또, U의 첫 번째 열(column)성분을 U(:,1)과 같이 적겠습니다. (MATLAB의 표기와 동일) 그러면 A를 SVD로 분해한 U S V'는 다음과 같이 쪼개서 생각할 수 있습니다. A = s1* U(:,1) V(:,1)' + s2 U(:,2) V(:,2)' + ... +s i U(:,i) V(:,i)' + ... + s n U(:,n) V(:,n)' 여기서 위 식의 우항에서 사용자가 원하는 앞의 k개 까지만 행렬을 더해서 저장한면 이미지의 핵심 정보만을 저장하는 것과 같다는 의미였습니다... 웹상에 관련 내용을 설명하는 많은 그림이 있는데, 그림으로 나타낸 것 중 괜찮은 것은 www.researchgate.net/figure/Singular-value-decomposition-of-A-a-full-rank-r-b-rank-k-approximation_fig1_271076899 인 것 같습니다. 확인부탁드리고 더 궁금하신 점 있으시면 말씀해주세요. 감사합니다.

[@quiteSimple24]

@@AngeloYeo 감사합니다~

[@Snshqgavks]

하나의 벡터 집합을 두개의 직교 벡터 집합으로 나누게 되면 왜 정보가 분해된채로 나뉘게 되는 건가요? 직교 한다는게 서로 가장 다른 정보를 가지고 있는 상태이고 그런 상태로 분해 하기 때문이다 이렇게 받아들여도 되나용?

[@huntaekim9534]

키야 사진으로 설명하셨을때....좋은 설명 감사합니다! 근데 저런 방식이 JPEG 저장 방식인가요?

[@AngeloYeo]

안녕하세요. 아니요 jpeg은 discrete cosine transform 을 이용합니다 ^^~

[@이졸리-o5o]

안녕하세요 공돌이님 임의의 행렬 A(3×3)를 가지고 선형변환을 해준 직교(각 열 벡터 크기는 1)행렬v 그리고 결과로 나온 직교(각 열 벡터 크기는1)행렬 u는 유일하게 한쌍만 나오는 건가요? 즉 선형변환 A에 대하여 변환 전후의 직교성이 변하지 않는 벡터들의 모임인 u와 v는 하나씩이다가 맞나요?

[@일초-y6p]

그람슈미트 직교화 라는 것을 약간 공부했는데 고유값분해 과정을 봐도 그람슈미트 직교화라는 것이 쓰이지 않는 것같고 특이값분해과정을 봐도 그람슈미트 직교화라는 것이 쓰이지 않는 것같고 그람슈미트 직교화가 고유값분해나 특이값분해와 아무 상관이 없는 것인가요 ?

[@AngeloYeo]

고윳값 분해는 그람슈미트 직교화와 상관 없구요. 특이값 분해와 관련해서는 약간의 연관성이 있을 수 있습니다. 조금 복잡한 이야기이긴 한데, 영상에서는 많은 부분이 생략되어 있는데 그 부분에 대한 얘기를 조금만 하자면... row space 내에서 직교하는 벡터 집합을 찾을 때 그람 슈미트 직교화 과정이 쓰일 수 있습니다. 그리고 null space는 row space와 직교하기 때문에 앞서 찾았던 row space 내의 직교 벡터 집합과 null space의 벡터들을 column space로 mapping 시켰을 때 모두 직교하는지 보는 것이 "조금 어려운 말로 설명한" 특이값 분해라고 할 수 있습니다. 그리고 null space에서 mapping 된 벡터들의 특이값은 모두 0이 되면서 0으로 mapping 되겠지요

[@일초-y6p]

@@AngeloYeo 설명을 들으니 특이값 분해 속에 자연스럽게 녹아 들어가 있는 어떤 개념이라는 생각이 듭니다 무리하게 관련지으려는 압박감에서 해방된 것같고 시간이 지나 실력이 향상되면 자연스레 친밀해 질 것 같습니다 공돌이님 동영상은 동영상에서 배우는 것뿐만 아니라 계속 스스로 찾아서 공부하게 자극하는 자극제로서의 힘까지 있는 것같습니다 보통 질문을 하나 하려고 하면 (도대체 답이 언제 올까 ?) 하는 기다림의 답답함 때문에 질문을 안 하게 되는데 항상 짧은 기간 안에 답 해 주셔서 갑갑함이 금방 해소가 되기를 여러번 정말 감사합니다 ^^ ~~~

[@AngeloYeo]

말씀드렸던 주요 부분공간의 관계에 대해서도 다룰 생각이니 기대해주세용 ㅎㅎ

[@일초-y6p]

@@AngeloYeo 텔레파시로 저의 속의 생각을 아신 것 같아요 ~~ ㅎㅎ 감사합니다 !!!!

[@suneungpark]

질문이 있는데요. A=USV에서 S 안에 있는 값은 클수록 영향력이 더 크다고 볼 수 있는 것 같은데요. 맞나요? 만약, 가중치가 큰 것부터 상위 n개의 Layer만 적용하고 싶다면, S의 가장 큰 값을 써야 하는지 아니면 S에서 첫 번째(1,1)가 가장 큰 영향력이 있는지 궁금합니다. (선형대수 초보입니다;;)

[@AngeloYeo]

안녕하세요. 좋은 질문 감사합니다. 1. 맞습니다. A=USV^T에서 S안에 있는 값은 클 수록 영향력이 크다라고 볼 수 있습니다. 2. S의 가장 큰 값부터 순서대로 쓰면 됩니다. 그런데, 보통은 S내의 대각선 상에 sigma 값이 큰 순서대로 놓일 수 있기 원소의 순서를 정렬해주는 것이 관례(?)입니다. (물론 그에 따라 U, V^T의 열(column)들도 그 순서에 맞게 정렬되어야 겠지요.) 그래서 MATLAB 같은 프로그램을 이용해서 SVD를 하면 S 행렬에 있는 sigma 값은 값이 큰 순서대로 정렬되어서 결과를 얻어주기 때문에 가장 첫 번째(그러니까, 말씀하신 (1,1))의 값부터 사용해주면 됩니다.

[@suneungpark]

@@AngeloYeo 감사합니다^^

[@이졸리-o5o]

감사합니다 잘 듣고 있습니다. 제가 잘 몰라서 질문하나 드리겠습니다. 12분 40초 쯤에 3차원 벡터를 2차원 벡터로 선형변환하는 것이 있는데요.. 자료에 써주신 것은 3차원의 한 점을 2차원의 한 점으로 투영시키는 식이 아닌지 질문드립니다. 특이값 분해를 만족시키는 관점에서는 A가 2x3 matrix이므로 v 행렬은 3차원 직교행렬은 3x3으로 표현되고 결과인 u행렬은 2x3 matrix를 2x2 직교벡터와 2x3 sigma 벡터로 나누는 것이 아닌지요?

[@AngeloYeo]

안녕하세요. 벡터공간 상의 점 하나는 해당 차원 벡터공간에서의 벡터하나를 의미합니다. 두번째 질문은 질문의 의도를 잘 모르겠습니다 ㅠ

[@ututubuser]

저 m by n인 A 행렬이 있다고 했을 때 이에 따라 U : m x m , D : m x n, V^T : n x n 의 형태가 되잖아요. 이때 m > n이면 D의 열 i 중 i>n인 부분은 모두 0 이 되니까 V의 i>n인 행 (i번째 벡터)들은 정보량이 없기 때문에 무시된다 라고 이해해도 될까요??

[@AngeloYeo]

그렇게 보셔도 되고 그 정보량이 없다고 보는 행들은 영공간 안의 기저 벡터로 표현하게 되는 행벡터들이기 때문에 변환 후의 값이 0으로 쪼그라든다 이렇게 봐도 됩니다~

[@갸베느]

공돌이님 마지막에 사진 선명도가 증가할 때마다, S의 행열이 하나씩 추가된다고 생각하면 되는건가요?

[@AngeloYeo]

S가 Σ를 말씀하시는거죠? 네 맞습니다 ~ singular value가 하나씩 추가된다고 보면 됩니다~

[@갸베느]

@@AngeloYeo 감사합니다!

[@장수돌침대-h5w]

SVD는 정사각행렬만 할수 있는 건가요? 이미지가 정사각 비율이 아닌 것들은 어떻게 하는지 궁금합니다.

[@AngeloYeo]

정사각행렬이 아니어도 SVD는 적용가능합니다. 만약 SVD를 적용하고자 하는 행렬의 차원이 AxB라고하면 U S V^T 행렬은 각각 AxA, AxB, BxB 차원으로 구성되어서 원래의 행렬을 분해합니다~

[@sunwoocho9382]

좋은 영상 감사합니다! 그런데 영상에 사용한 matlab 코드 링크가 안열리네요ㅠㅠ 다시 공유해주실 수 있나요?

[@AngeloYeo]

안녕하세요. 아래의 링크 참고 부탁드립니다~ github.com/angeloyeo/gongdols/tree/master/선형대수/SVD

[@namuni67541]

영상 너무 잘 봤습니다! SVD를 그냥 차원 축소 기법이라고만 대충 알고 있었는데, 깊게 이해시켜주신 점에 감사드립니다! 다만 한 가지 질문이 있는데요! 1. 원본행렬 A를 SVD로 분할하면 U, Σ, V^T 행렬 3개로 분할되고 여기서 Σ 행렬의 diagonal 위치 값에 선형변환을 취해주면서 바뀐 벡터의 '크기' 값이 들어가 있잖아요!? 제가 다른 책에서 이 Σ 행렬의 diagonal 위치 즉, 왼쪽 위에 있는 '크기'값일 수록 중요도가 높은 값들이 위치하고 오른쪽 아래에 있는 '크기' 값일 수록 중요도가 낮은 값이 들어있다라고 보았는데, 여기서 '중요도가 높은 값' 이라는게 그러면 '크기가 큰 값'을 의미하는건가요? 2. (1번 질문에 제가 질문한 부분이 맞다면) 그렇다면 '크기' 값이 담긴 Σ 행렬에서 왜 항상 왼쪽 위로 갈수록 중요도가 높은(크기 값이 큰) 값이 들어가 있는 건가요? 좋은 영상 다시 한 번 감사합니다 :)

[@AngeloYeo]

안녕하세요. 1. 네 맞습니다 시그마 행렬에 들어있는 값이 클 수록 중요도가 높다고 볼 수 있습니다. 2. 원래부터 순서대로 정렬된 것은 아니고 크기에 맞게 정렬해놓은 것입니다. 그에 따라 U와 V의 열벡터를 마찬가지 순서대로 재정렬하게 됩니다.

[@namuni67541]

@@AngeloYeo 옛 영상임에도 불구하고 빠른 답변 감사드립니다!

[@reonaledo]

감사합니다 도움이 많이 됐습니다. 아이겐벨류가 낮은 레이어들부터 합치는것도 볼 수 있으면 조금 더 좋았을 것 같습니다

[@AngeloYeo]

민다빈님 안녕하세요~! 먼저 도움이 되셨다니 다행입니다! 특이값이 낮은 레이어들 부터 합치는 것은 생각해보지 않았네요 ㅠㅠ 혹시 가능하시다면 제가 제공한 MATLAB코드 살짝 변형해서 확인해보시는 것도 좋으시지 않을까 하는 생각이듭니다! 감사합니다 ㅎㅎ

[@yunjeychoi9014]

크으..

[@lush8515]

섹시하시네요

[@AngeloYeo]

네? ㅋㅋ 감사합니다 ^^;

[@lush8515]

@@AngeloYeo 그런데 제가 부족하여 잘 이해가 되지 않는 부분이 있는데,, 특이값 분해의 의미를 풀이해주시면서 [v1 v2] 라는 원본 직교 행렬에 대해서 A라는 선형 변환을 가해줬을 때...라는 표현을 사용해주셨느데 그럼 2차원 영상 A를 SVD의 대상으로 했다면 영상 자체를 선형변환 인자로 가정했다는 결과로 생각할 수 있나요?

[@AngeloYeo]

@@lush8515 네 맞습니다. 영상도 일종의 행렬로 생각할 수 있습니다. 행렬은 선형변환 가능한 요소이구요 ^^ 제 영상 마지막 부분에는 사진을 SVD로 분해한 사용 예시가 있으니 확인해보시면 좋을 것 같습니다. 제 블로그에도 SVD를 이용해 사진을 SVD 분해한 예시가 있으니 확인해보실 수 있습니다. angeloyeo.github.io/2019/08/01/SVD.html#%ED%8A%B9%EC%9D%B4%EA%B0%92-%EB%B6%84%ED%95%B4%EC%9D%98-%ED%99%9C%EC%9A%A9

[@lush8515]

@@AngeloYeo 그 어느 교수님이나 서적보다도 잘 이해되게 설명해 주신다고 느껴집니다. 감사합니다 :)

[@AngeloYeo]

칭찬의 댓글 감사합니다 ~~^^ 도움 되셨다면 좋겠습니다

[@AugusteEden]

This is not anime

[@tree_ai7]

아주 도움이 됐습니다. 감사해요!

[@bm6956]

너무 좋습니당 감사해요!