[딥러닝] 4강. 정보 이론 기초 15분 컷! (엔트로피, 크로스-엔트로피, KL-divergence, Mutual information)

Рет қаралды 27,062

Күн бұрын

Пікірлер: 96

@hyukppen Жыл бұрын

혹시 이 강의가 조금 어렵게 느껴지시나요? 그동안 갈고닦은 강의력으로 4년 만에 새로운 딥러닝 강의를 올리게 되었습니다! 지금 보고 계신 영상보다 훨씬 더 쉽고, 더 꼼꼼하게 전달하는 강의니까 아래 재생목록 저장해두고 딥러닝 공부 시작해 보세요! < Easy! 딥러닝 재생목록 > kzbin.info/aero/PL_iJu012NOxdw1jc3KEo8Mq5oD5SXKhLu -------------------- 📢 혁펜하임의 딥러닝 마스터 커리큘럼! LEVEL 1 - Easy! 딥러닝 hyukppen.modoo.at/?link=2n1a6p7t LEVEL 1 - 인스톨! 파이토치 hyukppen.modoo.at/?link=131k3k7g LEVEL 2 - Legend 13 hyukppen.modoo.at/?link=5db82s6p LEVEL 2 - TTT: To The Transformer hyukppen.modoo.at/?link=21c4dj8y LEVEL 3 - ATT: After The Transformer hyukppen.modoo.at/?link=2mcbufeg

@김태규-m3i 7 ай бұрын

진짜 짱이에요 ... 혁펜하임 짱..

@떠나그네 2 жыл бұрын

오늘도 감탄하고 갑니다... 와... 정보이론 내용을 이렇게 쏙쏙 들어오게 설명하시다니... 그냥 혁펜하임님 하시는 전공으로 바꾸고 싶을 정도입니다.. 이론배경이 명쾌하게 이해되니 공부하는 너무 재미있어요ㅠㅠ

@hyukppen 2 жыл бұрын

하지만 전 정보이론 쪽과는 먼 것을 전공했습니다 ㅠㅋ

@FHSS-y1i 4 жыл бұрын

지금까지 유튜브에서 본 엔트로피 강의 중에서 가장 이해가 잘 되고 개념도 잘 잡힌 것 같습니다

@hyukppen 4 жыл бұрын

우왓 감사합니다!!

@SaehunKimguitar 4 жыл бұрын

혁펜하임님께 4년 전 신호 및 시스템 튜터링 들었던 학생입니다. 그때도 정말 개념 잡는데 도움 많이 주셨는데 지금 대학원에서도 이렇게 도움을 주시네요. 개인적으로도 굉장히 좋은 선배님이십니다. 감사합니다.

@쉔송이 3 жыл бұрын

ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 근래에 이렇게 기깔나게 설명하는 영상 처음 봤습니다. 뭔가 웃기려고 노력을 안 하는데 웃긴게 너무 신기하고 대단하십니다.

@jmlee9110 3 жыл бұрын

기초개념 부족한 직장인이 덕분에 개념 잘잡고 갑니다! 오늘부터 혁펜하임님 팬이에요👍

@pang_2 8 ай бұрын

딥러닝 계의 클래식 강의. 늘 감사합니다.

@sjl2116 2 жыл бұрын

KL divergence 설명 대박이에요...

@jini5699 Жыл бұрын

혁펜님 입문하게된 강의. 보고 또 보고..사랑하는 강의 입니다.💗

@itwipsy17 3 жыл бұрын

진지한내용을 이렇게 몰입감있게 설명한강의는 처음이네요!

@원작가-x3d Жыл бұрын

저 진짜로 유튜브 댓글 처음 쓰는데 강의가 귀에 쏙쏙 꽂히네요 정말 감사합니다 많이 배워갑니당

@hyukppen Жыл бұрын

오! ㅎㅎ 환영합니다. 영광입니다!! ㅋㅋ 시작이 반 아니겠습니까? 앞으로도 계속 남겨주세욧!! 😆

@zzang_joha Жыл бұрын

영상 보다가 중간에 갑자기 '뻐큐는 어때요!' 하는 부분에서 참지 못하고 웃어버렸습니다 ㅋㅋㅋㅋㅋ 강의 정말 잘 들었습니다!!

@kyungminhong4365 Жыл бұрын

너무 명료한 강의 잘들었습니다. 팬이에요!!

@leftf 2 жыл бұрын

아니 왜 딴 사람들은 이렇게 강의를 안하지? 진짜시네요 혁펜하임님

@worywary2537 2 жыл бұрын

오오오오. 진짜 명강!!!입니다. 매번 그렇게 쓰나보다 라고 엔트로피 식을 보고 넘어갔었는데.. 이해했네요!!

@sjl2116 2 жыл бұрын

끝까지 들었더니 Mutual information 설명도 대박이에요...

@절제지왕 4 жыл бұрын

이분은 한국의 아인슈타인 입니다. 도대체 모르는게 무엇인지 찾는게 더 빠를지도..

@김민준-d5v Жыл бұрын

혁펜하임 그는 신인가..

@minseongwak7570 4 жыл бұрын

cross-entropy 부터 너무 웃기네요ㅋㅋㅋ

@Noah-jz3gt Жыл бұрын

워....... 감사합니다... 진짜 가장 쉬운 설명이네요 ㅋㅋㅋㅋㅋ

@sjl2116 2 жыл бұрын

까먹어 가다가 다시한번 보고 갑니다. 감사합니다.

@Sarah-bb8nz Жыл бұрын

강의력 대단하십니다 소름... 지나가던 대학원생

@hyukppen Жыл бұрын

ㅎㅎㅎ댓글 감사합니다!!

@namjungwon3656 11 ай бұрын

진짜 쉽게 설명해주시네요

@초보입니다-b7y 3 ай бұрын

설명 ㄹㅇ 잘하시네요

@qwerasd1 2 ай бұрын

감사합니다 감사합니다 감사합니다 감사합니다 감사합니다

@조어락 8 күн бұрын

강의력이 정말 좋으시네요! 고등학생인데 조금더 궁금한 것이 있어 질문드립니다. 엔트로피가 생긴이유는 정보의 양을 정량화하기위해 생겨난 것입니다. 엔트로피가 열역학 엔트로피랑은 아무런 관련이 없는건가요? 또 이산확률 변수에서 엔트로피의 계산법과 연속확률 변수에서 엔트로피 계산법이 뭔가요? 잘모르는 내용인데 궁금하네요...

@jibinkim7726 4 жыл бұрын

진짜 덕분에 과제 쉽게 풉니다!!!!!!!! 사랑합니다

@kellyeunalee 2 жыл бұрын

재밌게 잘 봤습니다 ! ㅎㅎ

@maktube_220 Ай бұрын

그 등신의 량 ㅋㅋㅋ 재밌습니다.

@changgunchoi1825 3 жыл бұрын

예제 설명이 명확하네요 ㅎㅎ

@ksy8585 3 жыл бұрын

지렸습니다

@gogma9967 3 жыл бұрын

P(凸) 예시가 와닿습니다! 강의 잘 들었어요.

@Imofficiallymissingyou 2 жыл бұрын

Entropy가 lower bound라는 점을 이용한 거군요!

@누룽지백반 3 жыл бұрын

와 진짜 이분 강의는 솔직히 이과라면 필수교양으로 넣어야 한다

@hyukppen 3 жыл бұрын

ㅋㅋㅋㅋㅋㅋ누룽지 백반 넘 웃겨요 말씀 감사합니다!!

@kwon8767 Жыл бұрын

강의력 지리네요.. 잘 봤습니다 ㅎㅎ 바로 구독 눌렀어요!! 처음에 개소리 늘어놔서 죄송해요 ㅜ

@hyukppen Жыл бұрын

말씀 감사합니다! ㅎㅎ en.m.wikipedia.org/wiki/Independence_(probability_theory) 여기에서 보면 동치인 것 같은데.. 아닌가요?!

@kwon8767 Жыл бұрын

@@hyukppen 헐... 다시보니 제가 이상한 생각을 했었네요 제가 알고있던건 원래 X,Y가 서로 독립 => E(XY)=E(X)E(Y) 이고 역은 성립하지 않는다 인데 착각을 했네요. 다시 생각해보니 애초에 독립의 정의가 p(x,y)=p(x)p(y)네요 ㅠㅠ 죄송합니다

@hyukppen Жыл бұрын

@@kwon8767 옷 ㅎㅎ 아닙니다 ㅎㅎㅎ 이런 과정이 있으면 확실하게 기억되고 좋죠! 댓글 남겨주셔서 감사합니다 ㅎㅎ

@후유-o1i 9 ай бұрын

안녕하세요 이해안되는 부분 하나만 질문드려도 될까요..? 코드길이가 bit이므로 log2를 사용한다고 하셨는데 코드길이가 늘어나는게 2의 거듭제곱으로 늘어나는게아니라 1bit만 추가 되면 되는게 아닌가요..? 기존 섀넌엔트로피 개념은 이해했는데 이게 bit사용으로 log2를 사용한다는게 잘 이해가 안갑니다 ㅠㅠ..

@hyukppen 9 ай бұрын

1비트 추가되면 경우의 수가 2배 되니까 2의 거듭제곱으로 늘어나고 이것과 연관돼서 밑을 2를 사용한다 정도로 알고 있습니다. 사실 정확히는 잘 모르겠습니다 ㅎㅎ

@후유-o1i 9 ай бұрын

@@hyukppen 복습하면서 다시보는데 새넌 엔트로피값은 평균 엔트로피량인데 왜 최솟값인지 알수있을까요??

@hyukppen 9 ай бұрын

@@후유-o1i 증명은 잘 모르겠습니다. 섀넌의 석사논문에서 밝혔다고 기억합니다 ㅎㅎ

@후유-o1i 9 ай бұрын

@@hyukppen매번 답변 감사합니다!! 혹시 ai deep다이브 강의도 듣고있는데 유튜브에 추가적으로 뭘 같이 들으면 좋을까요??

@hyukppen 9 ай бұрын

@@후유-o1i 파이썬 강의를 같이 들으시면 좋을 것 같습니다 ㅎㅎ

@Bulgogi_Haxen 8 ай бұрын

그러면.. observation pairs ( X, Y )에서 Y(e.g one hot encoding - multiclass classification)의 정보량은 항상 0인게 맞나요? 예를 들어 Y의 분포를 py라 했을때 -log (py(Y)) = -log(1) = 0이니까요.. 그러니까 cross entropy loss를 minimizing하는 거는 결국 예측한 분포(e.g. softmax output)에서 측정한 정보량을 0으로 내리면 결국 측정된 분포와 실제 분포가 같아진다는 말이랑 같다고 해석하면 되는걸까요? 머릿 속에서 정리가 잘 안되니까 질문도 똑바로 못하겠네요 하하핳..

@hyukppen 8 ай бұрын

뜻을 잘 알아두셔야합니다. 그러면 너무 쉬워져요 entropy는 "불확정성" 을 나타낸다고 했죠? one-hot encoding은 엄청 확정적이잖아요 ㅎㅎ 하나만 1 나머진 0 따라서 entropy는 당연 0입니다~ cross-entropy는 두 분포의 거리를 나타낸다고 봐도 무방합니다. 즉, one-hot encoding된 label의 분포와 비슷할수록 작아지는 것이죠 예측한 분포의 정보량을 0으로 내리면 되는 건 아닙니다. 이건 달리 말하면 예측한 분포의 "entropy"를 0으로 만들자는 건데, 그러면 label은 [1,0,0] 일 때 [0,1,0] 으로 예측해서 실제 분포와 다름에도 entropy는 0이 되죠?

@김신-r4j 11 ай бұрын

엔트로피가 왜 2가 밑인 로그인가 했는데, 비트랑 연관이었군요.. 신기하네요..ㅎㅎ

@davidkwon8223 2 ай бұрын

대박

@klg7839 2 жыл бұрын

좋은 강의 올려주셔서 감사합니다. 궁금한 점이 있는데, 댓글 보면서 cross entropy를 사용했을 때 mse보다 좀 더 안정적으로 수렴하여서 loss function으로 사용한다고 하신걸 읽어보았습니다. 근데 이걸 가져다 쓰게 된 corss entropy만의 특성이나 이유가 있을까요? 아 이거 크로스를 쓰면 뭔가 더 학습이 잘될 것같은데? 라는 직관이 있었던 것일지 아니면 그냥 써보니까 음 잘되네? 인건지 궁금합니다 .

@hyukppen 2 жыл бұрын

좋은 질문입니다. 언제 댓글인지는 모르겠습니다 ㅠ 지금은 좀더 생각이 발전했어요. mse vs cross-entropy 비교하자면 mse는 정답이 100인데 001을 뱉으면 오류는 mse 값은 1 cross-entropy라면 무한대가 될겁니다. 즉, 훨씬 오차에 민감하게 반응해줍니다. 그리고 cross-entropy 말고 이진분류 문제에서 마지막 activation인 sigmoid 동과 직전 weight에 대해 함수의 개형이 MSE는 non-convex, likelihood는 convex 입니다 ㅎㅎ 현강 오시면 이런 분석 결과들을 쫙 모아놓은 강의자료와 함께 8시간 강의를 들을 수 있습니다!

@klg7839 2 жыл бұрын

@@hyukppen 친절한 답변 감사드립니다 ㅎㅎ 현강 듣고싶은데 이번에는 대전이어서 힘들것 같은데 혹시 다음 강의는 언제쯤 예정이신지 알 수 있을까요?

@hyukppen 2 жыл бұрын

@@klg7839 5월 말쯤에 할 것 같습니다! 장소는 다시 서울로 ㅎㅎ 물어봐주셔서 감사합니다😆

@Snowflake_tv 2 жыл бұрын

화학이나 생명과학의 엔트로피와 정보과학의 엔트로피에 대해 나온 책 하나 소개해주실수있나요? 한국어나 영어면 괜찮아요.

@김성준-k2j7b 2 жыл бұрын

정보이론에 관해서 처음 독학하고 있는데 궁금한 점이 있어 질문합니다. kl divergence랑 리던던시는 결국 똑같은 건가요??

@hyukppen 2 жыл бұрын

리던던시가 뭔가용?!

@김성준-k2j7b 2 жыл бұрын

@@hyukppen 구글링해서 찾아보니까 리던던시가 오류없이 정보를 전달하기 위한 수단이고 필요 정보량 이상의 수단이 어느 정도 준비되어 있는가를 나타내는 값이라고 하길래 둘이 비슷하다고 느껴졌어요.

@hyukppen 2 жыл бұрын

@@김성준-k2j7b 오호 글쿤요! 통신쪽에서 들었던거 같은데 잘 모르겠네요 ㅎㅎ

@jake7vc618 2 жыл бұрын

Entropy 값 이상으로 코딩을 더 효율적으로 할 수 없다는 말씀은, 코딩을 했을 때 결과적으로 (카톡 같은) 주고받는 정보에 의한 bit 리소스 총량이 최소화 된다는 것으로 이해하면 될 까요? (Entropy 값이 코드의 최소 길이라는 것이 아직 조금 와닿지가 않아서 문의 드려요~)

@hyukppen 2 жыл бұрын

넵넵 좋은 질문 감사합니다! 메세지를 인코딩 했을 때 코드 길이 평균의 이론적인 하한이 entropy라는 뜻입니다. 즉, 정보라는 것을 bit로 표현했을 때 아무리 잘 인코딩하더라도 그 평균 길이가 entropy보다는 작을 수 없다는 것이죠. 그런데 p의 실제 분포를 알 수 없어서 entropy에 해당하는 인코딩을 할 수 없다고 알고 있습니다.

@변비걸린뿡뿡이 4 ай бұрын

9:41 q로 만들었을때도 시그마 뒤에 p인 이유가 뭘까요?ㅠㅠㅠㅠ 알려주세여ㅜㅜㅜ

@hyukppen 4 ай бұрын

실제 분포는 p를 따르기 때문입니다 ㅎㅎ

@jindolkim3973 3 жыл бұрын

좋은강의 감사합니다. 질문이 있는데, 확률이 클수록 encoding의 길이가 짧아지면 효율적이라는것은 이해되는데, 혹시 log함수를 이용하는 특별한 이유가 있을까요? 단지, 독립일때 덧셈으로 표현하기 쉬우라고 log를 이용하는 건가요?

@hyukppen 3 жыл бұрын

흠.. 잘 모르겠습니다! ㅠㅠ 제가 알고 있는 것은 -log가 1. 0에서 무한, 1에서 0이 된다는 점, 2. log(p(x)p(y))=log(p(x))+log(p(y)) 라는 점 (독립 랜덤 변수는 정보량이 그냥 더해진다) 이렇게 두가지 이긴 합니다만 아마 그 밖에 이유가 더 있지 않을까 생각이 듭니다. 혹시 공부하시다가 알게 되시면 댓글 남기러 와주세요! ㅎㅎ

@jindolkim3973 3 жыл бұрын

@@hyukppen 논문을 좀 찾아보니, 말씀하신 것 처럼 독립인 정보량을 구할 때 단순합으로 구하면 편하니까 그렇게 정의한 것 같네요. 도움많이 됩니다 감사합니다 ㅎㅎ

@hyukppen 3 жыл бұрын

@@jindolkim3973 감사합니다 ㅎㅎ 섀넌이 코드길이 평균의 최소가 entropy임을 수학적으로 밝혔으니 entropy 수식 안에서 -log(p)가 코드 길이다 이렇게 자연스럽게 됐을 수도 있을 것 같아요

@류한웅-n6g 2 жыл бұрын

흠 저가 정보이론쪽을 제대로 파진 못해서 맞는지는 모르겠지만 , backpropagation 관점에서 loss function이 가져야 하는 전제조건 중 total 로스는 모든 샘플들의 loss를 합친것과 같아야한다고 알고 있습니다. 이 샘플들은 독립이 되어있고 loss 또한 독립이 되어있어 학습할때 덧셈으로 표현하기 쉬우라고 하는 것이 맞는 것 같긴합니다..

@강동흔-r5o 2 жыл бұрын

딥러닝에서 정확도 대신 오차값을 활용하는 이유가 뭔가요?

@hyukppen 2 жыл бұрын

정확도는 100개 중 80개 맞추면 80% 입니다. 오차값은 100개 중 몇개를 맞춰냐가 아닌 그 각각이 얼마나 잘 맞췄냐도 알려주죠 그러니 분류 결과만 볼게 아니고 얼마나 분류를 잘했는지도 보는게 좋겠죠?

@Byeonkwan 2 жыл бұрын

바보같은 질문일 것 같은데;; 그래서 엔트로피와 크로스엔트로피, Mutual Information 등이 딥러닝에서 어떠한 관계(?), 영향(?)이 있는 건가요?? "꽂히는 딥러닝" 강의 너무 잘 듣고 있습니다. 감사합니다!

@hyukppen 2 жыл бұрын

좋은 질문 감사합니다 ㅎㅎ 지도학습에서 딥러닝은 “되고 싶은 값” 과 “현재 모델 출력으로 나온 값” 의 차이를 줄이는 방향으로 업데이트가 일어납니다. 근데 문제에 따라서는 위의 말에서 값=>분포 일 경우가 있는데, 이 때는 단순히 오차제곱의 합보다는 크로스엔트로피를 loss 함수로 정의하고 그것을 줄이는 방향으로 업데이트하는 것이 좀더 안정적으로 수렴합니다. 크로스엔트로피는 딥러닝에서 워낙 많이 쓰이는 loss 함수이다보니 이렇게 따로 짧막하게나마 정보이론 강의를 만들었습니다. ㅎㅎ

@Byeonkwan 2 жыл бұрын

@@hyukppen 좋은 강의에 이어,,이렇게 빠른 답변까지 너무너무 감사드립니다! 다중분류 문제에서 코드로만 봤던, Cross-entropy loss function의 상세한 설명으로 이해가 됩니다. 용어 중심으로 드문드문 알고 있던 얕은 지식이 혁펜하임님의 강의로 인해 깊어 진 것 같습니다. 감사합니다!