[#32.Lec] AutoEncoder and Variational AutoEncoder - 딥러닝 홀로서기

[@진현영-o9w]

내가보려고 만든 타임라인 14:56 AE개념 19:53 생성모델설명 31:47 VAE 설명 42:44 z를 이용한 vae설명

[@mallang2e]

여태까지봤던 vae 설명 중 제일 좋았다..

[@hsyoon2778]

수많은 자료와 강의 보면서 이해하려고 했는데 이보다 이해하기 쉽게 설명한건 없었어요! ㄹㅇ 감사합니다

[@heeyoungkwon6911]

안녕하세요. 좋은 강의 너무 감사합니다. 따로 VAE공부하면서도 궁금한점이 있어서 이 강의를 찾아보게 되었는데, 이 강의를 보면서도 완전히 해결이 안되서 따로 질문남깁니다. 그 1:08:30 쯤에 말씀하시는 ELBO와 intractable한 항에서 intractable한 항은 일단 양수니까 ELBO만 최대화하면 likelihood를 최대화할 수 있을 것이라 말씀하셨는데, 이때, intractable항이 계산불가기 때문에 학습과정에서 어떤 behavior를 보일지가 분명하지 않고 이로인해 ELBO만 최대화하는 것이 꼭 likelihood를 최대화한다는 것이 항상 보장되지 않는것 아닌가 라는 생각이 들어서요. 만약 아무리 손실함수로써 ELBO를 학습과정에서 최대화하려고 해도 어느정도 커지다가 포화되는경우도 있는데, 이때 만약 그 학습의 영향으로 intractable한 항이 크게 감소하는 상황이 펼쳐진다면(계산 못하니까 그런일이 있을지 없을지도 모르는것이지만, 만약 ELBO가 학습과정에서 -10에서 -5까지 커졌고 그 이상은 포화되어 커지지 않는 상황에 intractable항이 그 학습의 영향으로 10에서 0까지 감소해버렸다던지), ELBO 최대화가 꼭 likelihood의 최대화를 보장할 수 있는 것인가 라는 생각이 들어서요.

[@alexpecial]

맞습니다. ELBO를 최대화하는 것이 log-likelihood 최대화를 보장하지는 않습니다. 하지만, 일반적으로 VAE 셋업 (posteior와 prior가 Gaussian인 경우) 에서는 잘 동작한다고 알려져 있습니다.

[@정옥철학생전기·정보]

좋은 영상 감사합니다. 공부하면서 많은 도움이 되었습니다.

[@조현준-e3n]

안녕하세요! 좋은 강의 무료로 공개해주셔서 감사합니다. 혹시 강의해주신 내용 일부와 강의 자료를 제 블로그에 포스팅해도 될까요?

[@jay-fk6pl]

너무 좋은 강의 감사합니다. 이런강의가 한국어로 있다는거 자체가 감사하네요 ㅠㅠ VAE를 깊이있게 이해하려고 노력하신 흔적이 강의에서 잘 전달되네요. 잘들었습니다!

[@미리내0305]

좋은강의 너무 감사합니다. 질문이있는데, GAN을 위해서는 많은데이터가 필요하다고 알고있는데 VAE는 어떤지요? 그리고 GAN과 VAE는 CNN처럼 적은데이터로도 학습가능한 전이학습과같은 방법은 없는지요?

[@IdeaFactoryKAIST]

직접적으로 GAN과 VAE를 동시에 학습시키며 비교해본적은 없지만, 일반적으로 GAN이 VAE보다 훨씬 더 적은 양으로 양질의 이미지를 생성한다고 알고 있습니다. GAN 모델을 전이학습시키는 연구가 조금 있는 것 같네요. GAN Fine-tuning / GAN Transfer Learning으로 검색해보시길 바랍니다. :)

[@강동찬-h4s]

잘 보고 갑니다

[@c4big2]

1:08:55 어쩐지 이해하기 어려운 거였구나 ㅠㅠ

[@fkghek]

수업 잘 들었습니다! 설명을 잘 해주시는 것 같아요. 한가지 아쉬운게 있다면 VAE 관련되어서 코드도 같이 다뤘으면 어떨까 싶네요. 그리고 질문하시는분한테 마이크를 주셔서 어떤걸 질문하셨는지도 영상에 같이 담겼다면 더 좋을거같네요.

[@IdeaFactoryKAIST]

좋은 피드백 감사합니다! 다음 영상부터는 반영할 수 있도록 하겠습니다 :)

[@puroyesgilbert9968]

Autoencoder도 PCA처럼 직교 가중치를 생성하나요? 그리고 AUTOENCODER랑 pca의 계산량은 어떻게 차이가 나는지 궁금합니다

[@IdeaFactoryKAIST]

PCA는 m -> n 차원으로 Linear Transformation을 거치기 때문에 직교 가중치를 생성한다고 말씀해주신 것 같습니다. AutoEncoder의 경우 m -> n 차원으로 주어진 샘플을 projection 하고 다시 n -> m 차원으로 복원시키는데 AE 같은 경우 projection 과정에 neural network 아키텍쳐를 사용하기 때문에 Non-linear Transformation에 기반한다는 것이 가장 큰 차이라고 생각합니다. 이때 계산량이 학습에 필요한 계산량인지, 학습 후 projection에 필요한 계산량인지에 따라 다를 것 같습니다만 AE 쪽이 m -> n 까지 도달하는데 필요한 neural network를 얼마나 deep하고 wide하게 짜는지에 따라 PCA 대비 훨씬 계산복잡도는 커질 수 있겠습니다.

[@yuuno__]

8:38 북마크

[@bluekdct]

cs231n 강의 듣고 이해가 잘안됬던 부분이 너무잘 이해되네요. 좋은 강의 공유해주셔서 감사합니다. 1:14:03 한가지 궁금한것이, VAE를 학습시킨 후 z를 가우시안분포로 가정하고 샘플링하연 벡터를 생성한다고 했는데, z1, z2를 바꾼다는것이 어떤의미인지 궁금 합니다. 분포를 바꾸어준다는 것인지 아니면 샘플린된 z의 값이 다르다는 뜻인가요? 분포를 바꾸어준다면 그것이 어떤뜻인지도 궁금합니다.

[@heriun7268]

z1, z2값을 N(0,1)에서 계속 샘플링해보면서(왜냐하면, z가 normal dist라고 가정했기때문), 생성된 이미지를 확인한다는 의미같습니다.

[@BanBakSiNaeGaMatEum]

1:36 ~ 7:41 : 복습 8:35 : 시작 9:11 : supervised learning 12:32 : unsupervised learning 19:50 23:52 ~ 26:18 : 이해 안됌 31:36 : VAE 50:56 ~ 1:14:32 여기부터 수식적 이해로 끌고가는 것 같은데 하나도 이해 안됨 55:21 : maximize가 될 수 있느냐, 할 수 있느냐를 수학적으로 분석(수식밖에 없음)