【 VQ-VAE 】4. 학습시키는 법

[@임커밋]

프로그래밍 학습 전 적성에 맞는지 확인하고 싶다면? codingvillainkor.github.io/studying_python/

[@jihunbae4795]

건방지게, 고수같아보이려고 표현이 너무 제스타일이네요ㅋㅋ

[@uyelife]

항상 감사합니다 센세

[@dukasgeorge7584]

stop gradient 는 사실 연산량을 줄여주는 의미가 있긴하죠. 아마 sg 하든 말든 큰 차이는 없을겁니다. loss design 할때 양쪽다 gradient 가 달려 있으면 서로 움직이니까 훈련프로세스가 더 복잡해져서 설명할때는 sg 넣는게 더 쉬워서(?) 그런것 같네요. 아마 저렇게 수식안썼으면 리뷰어들이 양쪽에 gradient 흘리는 이유가 뭐냐고 지적할수도 있었을거라 생각합니다. 저도 궁금해서 detach 안하고 양쪽다 gradient 흘려주는 세팅에서 직접 계산하면서 분석한 연구를 진행했었는데 정말 어려웠던것 기억이 있네요. 이론적 분석할땐 sg 있는게 간단해져서 수식에 저렇게 쓰는것 같네요.

[@green_dollar_sign]

이런거 공부는 대체 어떻게 하시는 겁니까.. 이게 진짜 파인만 공부법이지 ㅋㅋ

[@human_tailmeat]

왜 내가 이 정보를 필요로 할 때 아직 덜나온거야...ㅠㅜ

[@JunyoungPark-x7f]

고수같아보이려고 ㅋㅋㅋㄱㅋㅋㄱㅋㅋㅋ

[@386compt]

이야 이거 simcse 생각나네요 loss는 loss인데 알고보니 드롭아웃 써서 백프롭한거랑 똑같은거 ㅋㅋㅋㅋㅋㅋ

[@모띠기-t6i]

한쪽은 미분이 encoder 쪽으로 흐르고 한쪽은 코드북쪽으로 흐르니 베타 상수로 어디를더 중요하게 볼지 가중치를 두는것일까요?..

[@aiphdssong]

건방진 고수