혹시 이 강의가 조금 어렵게 느껴지시나요? 그동안 갈고닦은 강의력으로 4년 만에 새로운 딥러닝 강의를 올리게 되었습니다! 지금 보고 계신 영상보다 훨씬 더 쉽고, 더 꼼꼼하게 전달하는 강의니까 아래 재생목록 저장해두고 딥러닝 공부 시작해 보세요! < Easy! 딥러닝 재생목록 > kzbin.info/aero/PL_iJu012NOxdw1jc3KEo8Mq5oD5SXKhLu -------------------- 📢 혁펜하임의 딥러닝 마스터 커리큘럼! LEVEL 1 - Easy! 딥러닝 hyukppen.modoo.at/?link=2n1a6p7t LEVEL 1 - 인스톨! 파이토치 hyukppen.modoo.at/?link=131k3k7g LEVEL 2 - Legend 13 hyukppen.modoo.at/?link=5db82s6p LEVEL 2 - TTT: To The Transformer hyukppen.modoo.at/?link=21c4dj8y LEVEL 3 - ATT: After The Transformer hyukppen.modoo.at/?link=2mcbufeg
@김태규-m3i7 ай бұрын
진짜 짱이에요 ... 혁펜하임 짱..
@떠나그네2 жыл бұрын
오늘도 감탄하고 갑니다... 와... 정보이론 내용을 이렇게 쏙쏙 들어오게 설명하시다니... 그냥 혁펜하임님 하시는 전공으로 바꾸고 싶을 정도입니다.. 이론배경이 명쾌하게 이해되니 공부하는 너무 재미있어요ㅠㅠ
@hyukppen2 жыл бұрын
하지만 전 정보이론 쪽과는 먼 것을 전공했습니다 ㅠㅋ
@FHSS-y1i4 жыл бұрын
지금까지 유튜브에서 본 엔트로피 강의 중에서 가장 이해가 잘 되고 개념도 잘 잡힌 것 같습니다
@hyukppen4 жыл бұрын
우왓 감사합니다!!
@SaehunKimguitar4 жыл бұрын
혁펜하임님께 4년 전 신호 및 시스템 튜터링 들었던 학생입니다. 그때도 정말 개념 잡는데 도움 많이 주셨는데 지금 대학원에서도 이렇게 도움을 주시네요. 개인적으로도 굉장히 좋은 선배님이십니다. 감사합니다.
@쉔송이3 жыл бұрын
ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 근래에 이렇게 기깔나게 설명하는 영상 처음 봤습니다. 뭔가 웃기려고 노력을 안 하는데 웃긴게 너무 신기하고 대단하십니다.
@jmlee91103 жыл бұрын
기초개념 부족한 직장인이 덕분에 개념 잘잡고 갑니다! 오늘부터 혁펜하임님 팬이에요👍
@pang_28 ай бұрын
딥러닝 계의 클래식 강의. 늘 감사합니다.
@sjl21162 жыл бұрын
KL divergence 설명 대박이에요...
@jini5699 Жыл бұрын
혁펜님 입문하게된 강의. 보고 또 보고..사랑하는 강의 입니다.💗
@itwipsy173 жыл бұрын
진지한내용을 이렇게 몰입감있게 설명한강의는 처음이네요!
@원작가-x3d Жыл бұрын
저 진짜로 유튜브 댓글 처음 쓰는데 강의가 귀에 쏙쏙 꽂히네요 정말 감사합니다 많이 배워갑니당
@hyukppen Жыл бұрын
오! ㅎㅎ 환영합니다. 영광입니다!! ㅋㅋ 시작이 반 아니겠습니까? 앞으로도 계속 남겨주세욧!! 😆
@zzang_joha Жыл бұрын
영상 보다가 중간에 갑자기 '뻐큐는 어때요!' 하는 부분에서 참지 못하고 웃어버렸습니다 ㅋㅋㅋㅋㅋ 강의 정말 잘 들었습니다!!
@kyungminhong4365 Жыл бұрын
너무 명료한 강의 잘들었습니다. 팬이에요!!
@leftf2 жыл бұрын
아니 왜 딴 사람들은 이렇게 강의를 안하지? 진짜시네요 혁펜하임님
@worywary25372 жыл бұрын
오오오오. 진짜 명강!!!입니다. 매번 그렇게 쓰나보다 라고 엔트로피 식을 보고 넘어갔었는데.. 이해했네요!!
@sjl21162 жыл бұрын
끝까지 들었더니 Mutual information 설명도 대박이에요...
@절제지왕4 жыл бұрын
이분은 한국의 아인슈타인 입니다. 도대체 모르는게 무엇인지 찾는게 더 빠를지도..
@김민준-d5v Жыл бұрын
혁펜하임 그는 신인가..
@minseongwak75704 жыл бұрын
cross-entropy 부터 너무 웃기네요ㅋㅋㅋ
@Noah-jz3gt Жыл бұрын
워....... 감사합니다... 진짜 가장 쉬운 설명이네요 ㅋㅋㅋㅋㅋ
@sjl21162 жыл бұрын
까먹어 가다가 다시한번 보고 갑니다. 감사합니다.
@Sarah-bb8nz Жыл бұрын
강의력 대단하십니다 소름... 지나가던 대학원생
@hyukppen Жыл бұрын
ㅎㅎㅎ댓글 감사합니다!!
@namjungwon365611 ай бұрын
진짜 쉽게 설명해주시네요
@초보입니다-b7y3 ай бұрын
설명 ㄹㅇ 잘하시네요
@qwerasd12 ай бұрын
감사합니다 감사합니다 감사합니다 감사합니다 감사합니다
@조어락8 күн бұрын
강의력이 정말 좋으시네요! 고등학생인데 조금더 궁금한 것이 있어 질문드립니다. 엔트로피가 생긴이유는 정보의 양을 정량화하기위해 생겨난 것입니다. 엔트로피가 열역학 엔트로피랑은 아무런 관련이 없는건가요? 또 이산확률 변수에서 엔트로피의 계산법과 연속확률 변수에서 엔트로피 계산법이 뭔가요? 잘모르는 내용인데 궁금하네요...
@jibinkim77264 жыл бұрын
진짜 덕분에 과제 쉽게 풉니다!!!!!!!! 사랑합니다
@kellyeunalee2 жыл бұрын
재밌게 잘 봤습니다 ! ㅎㅎ
@maktube_220Ай бұрын
그 등신의 량 ㅋㅋㅋ 재밌습니다.
@changgunchoi18253 жыл бұрын
예제 설명이 명확하네요 ㅎㅎ
@ksy85853 жыл бұрын
지렸습니다
@gogma99673 жыл бұрын
P(凸) 예시가 와닿습니다! 강의 잘 들었어요.
@Imofficiallymissingyou2 жыл бұрын
Entropy가 lower bound라는 점을 이용한 거군요!
@누룽지백반3 жыл бұрын
와 진짜 이분 강의는 솔직히 이과라면 필수교양으로 넣어야 한다
@hyukppen3 жыл бұрын
ㅋㅋㅋㅋㅋㅋ누룽지 백반 넘 웃겨요 말씀 감사합니다!!
@kwon8767 Жыл бұрын
강의력 지리네요.. 잘 봤습니다 ㅎㅎ 바로 구독 눌렀어요!! 처음에 개소리 늘어놔서 죄송해요 ㅜ
@hyukppen Жыл бұрын
말씀 감사합니다! ㅎㅎ en.m.wikipedia.org/wiki/Independence_(probability_theory) 여기에서 보면 동치인 것 같은데.. 아닌가요?!
@kwon8767 Жыл бұрын
@@hyukppen 헐... 다시보니 제가 이상한 생각을 했었네요 제가 알고있던건 원래 X,Y가 서로 독립 => E(XY)=E(X)E(Y) 이고 역은 성립하지 않는다 인데 착각을 했네요. 다시 생각해보니 애초에 독립의 정의가 p(x,y)=p(x)p(y)네요 ㅠㅠ 죄송합니다
@hyukppen Жыл бұрын
@@kwon8767 옷 ㅎㅎ 아닙니다 ㅎㅎㅎ 이런 과정이 있으면 확실하게 기억되고 좋죠! 댓글 남겨주셔서 감사합니다 ㅎㅎ
@후유-o1i9 ай бұрын
안녕하세요 이해안되는 부분 하나만 질문드려도 될까요..? 코드길이가 bit이므로 log2를 사용한다고 하셨는데 코드길이가 늘어나는게 2의 거듭제곱으로 늘어나는게아니라 1bit만 추가 되면 되는게 아닌가요..? 기존 섀넌엔트로피 개념은 이해했는데 이게 bit사용으로 log2를 사용한다는게 잘 이해가 안갑니다 ㅠㅠ..
@hyukppen9 ай бұрын
1비트 추가되면 경우의 수가 2배 되니까 2의 거듭제곱으로 늘어나고 이것과 연관돼서 밑을 2를 사용한다 정도로 알고 있습니다. 사실 정확히는 잘 모르겠습니다 ㅎㅎ
@후유-o1i9 ай бұрын
@@hyukppen 복습하면서 다시보는데 새넌 엔트로피값은 평균 엔트로피량인데 왜 최솟값인지 알수있을까요??
@hyukppen9 ай бұрын
@@후유-o1i 증명은 잘 모르겠습니다. 섀넌의 석사논문에서 밝혔다고 기억합니다 ㅎㅎ
@후유-o1i9 ай бұрын
@@hyukppen매번 답변 감사합니다!! 혹시 ai deep다이브 강의도 듣고있는데 유튜브에 추가적으로 뭘 같이 들으면 좋을까요??
@hyukppen9 ай бұрын
@@후유-o1i 파이썬 강의를 같이 들으시면 좋을 것 같습니다 ㅎㅎ
@Bulgogi_Haxen8 ай бұрын
그러면.. observation pairs ( X, Y )에서 Y(e.g one hot encoding - multiclass classification)의 정보량은 항상 0인게 맞나요? 예를 들어 Y의 분포를 py라 했을때 -log (py(Y)) = -log(1) = 0이니까요.. 그러니까 cross entropy loss를 minimizing하는 거는 결국 예측한 분포(e.g. softmax output)에서 측정한 정보량을 0으로 내리면 결국 측정된 분포와 실제 분포가 같아진다는 말이랑 같다고 해석하면 되는걸까요? 머릿 속에서 정리가 잘 안되니까 질문도 똑바로 못하겠네요 하하핳..
@hyukppen8 ай бұрын
뜻을 잘 알아두셔야합니다. 그러면 너무 쉬워져요 entropy는 "불확정성" 을 나타낸다고 했죠? one-hot encoding은 엄청 확정적이잖아요 ㅎㅎ 하나만 1 나머진 0 따라서 entropy는 당연 0입니다~ cross-entropy는 두 분포의 거리를 나타낸다고 봐도 무방합니다. 즉, one-hot encoding된 label의 분포와 비슷할수록 작아지는 것이죠 예측한 분포의 정보량을 0으로 내리면 되는 건 아닙니다. 이건 달리 말하면 예측한 분포의 "entropy"를 0으로 만들자는 건데, 그러면 label은 [1,0,0] 일 때 [0,1,0] 으로 예측해서 실제 분포와 다름에도 entropy는 0이 되죠?
@김신-r4j11 ай бұрын
엔트로피가 왜 2가 밑인 로그인가 했는데, 비트랑 연관이었군요.. 신기하네요..ㅎㅎ
@davidkwon82232 ай бұрын
대박
@klg78392 жыл бұрын
좋은 강의 올려주셔서 감사합니다. 궁금한 점이 있는데, 댓글 보면서 cross entropy를 사용했을 때 mse보다 좀 더 안정적으로 수렴하여서 loss function으로 사용한다고 하신걸 읽어보았습니다. 근데 이걸 가져다 쓰게 된 corss entropy만의 특성이나 이유가 있을까요? 아 이거 크로스를 쓰면 뭔가 더 학습이 잘될 것같은데? 라는 직관이 있었던 것일지 아니면 그냥 써보니까 음 잘되네? 인건지 궁금합니다 .
@hyukppen2 жыл бұрын
좋은 질문입니다. 언제 댓글인지는 모르겠습니다 ㅠ 지금은 좀더 생각이 발전했어요. mse vs cross-entropy 비교하자면 mse는 정답이 100인데 001을 뱉으면 오류는 mse 값은 1 cross-entropy라면 무한대가 될겁니다. 즉, 훨씬 오차에 민감하게 반응해줍니다. 그리고 cross-entropy 말고 이진분류 문제에서 마지막 activation인 sigmoid 동과 직전 weight에 대해 함수의 개형이 MSE는 non-convex, likelihood는 convex 입니다 ㅎㅎ 현강 오시면 이런 분석 결과들을 쫙 모아놓은 강의자료와 함께 8시간 강의를 들을 수 있습니다!
@klg78392 жыл бұрын
@@hyukppen 친절한 답변 감사드립니다 ㅎㅎ 현강 듣고싶은데 이번에는 대전이어서 힘들것 같은데 혹시 다음 강의는 언제쯤 예정이신지 알 수 있을까요?
@hyukppen2 жыл бұрын
@@klg7839 5월 말쯤에 할 것 같습니다! 장소는 다시 서울로 ㅎㅎ 물어봐주셔서 감사합니다😆
@Snowflake_tv2 жыл бұрын
화학이나 생명과학의 엔트로피와 정보과학의 엔트로피에 대해 나온 책 하나 소개해주실수있나요? 한국어나 영어면 괜찮아요.
@김성준-k2j7b2 жыл бұрын
정보이론에 관해서 처음 독학하고 있는데 궁금한 점이 있어 질문합니다. kl divergence랑 리던던시는 결국 똑같은 건가요??
@hyukppen2 жыл бұрын
리던던시가 뭔가용?!
@김성준-k2j7b2 жыл бұрын
@@hyukppen 구글링해서 찾아보니까 리던던시가 오류없이 정보를 전달하기 위한 수단이고 필요 정보량 이상의 수단이 어느 정도 준비되어 있는가를 나타내는 값이라고 하길래 둘이 비슷하다고 느껴졌어요.
@hyukppen2 жыл бұрын
@@김성준-k2j7b 오호 글쿤요! 통신쪽에서 들었던거 같은데 잘 모르겠네요 ㅎㅎ
@jake7vc6182 жыл бұрын
Entropy 값 이상으로 코딩을 더 효율적으로 할 수 없다는 말씀은, 코딩을 했을 때 결과적으로 (카톡 같은) 주고받는 정보에 의한 bit 리소스 총량이 최소화 된다는 것으로 이해하면 될 까요? (Entropy 값이 코드의 최소 길이라는 것이 아직 조금 와닿지가 않아서 문의 드려요~)
@hyukppen2 жыл бұрын
넵넵 좋은 질문 감사합니다! 메세지를 인코딩 했을 때 코드 길이 평균의 이론적인 하한이 entropy라는 뜻입니다. 즉, 정보라는 것을 bit로 표현했을 때 아무리 잘 인코딩하더라도 그 평균 길이가 entropy보다는 작을 수 없다는 것이죠. 그런데 p의 실제 분포를 알 수 없어서 entropy에 해당하는 인코딩을 할 수 없다고 알고 있습니다.
@변비걸린뿡뿡이4 ай бұрын
9:41 q로 만들었을때도 시그마 뒤에 p인 이유가 뭘까요?ㅠㅠㅠㅠ 알려주세여ㅜㅜㅜ
@hyukppen4 ай бұрын
실제 분포는 p를 따르기 때문입니다 ㅎㅎ
@jindolkim39733 жыл бұрын
좋은강의 감사합니다. 질문이 있는데, 확률이 클수록 encoding의 길이가 짧아지면 효율적이라는것은 이해되는데, 혹시 log함수를 이용하는 특별한 이유가 있을까요? 단지, 독립일때 덧셈으로 표현하기 쉬우라고 log를 이용하는 건가요?
@hyukppen3 жыл бұрын
흠.. 잘 모르겠습니다! ㅠㅠ 제가 알고 있는 것은 -log가 1. 0에서 무한, 1에서 0이 된다는 점, 2. log(p(x)p(y))=log(p(x))+log(p(y)) 라는 점 (독립 랜덤 변수는 정보량이 그냥 더해진다) 이렇게 두가지 이긴 합니다만 아마 그 밖에 이유가 더 있지 않을까 생각이 듭니다. 혹시 공부하시다가 알게 되시면 댓글 남기러 와주세요! ㅎㅎ
@jindolkim39733 жыл бұрын
@@hyukppen 논문을 좀 찾아보니, 말씀하신 것 처럼 독립인 정보량을 구할 때 단순합으로 구하면 편하니까 그렇게 정의한 것 같네요. 도움많이 됩니다 감사합니다 ㅎㅎ
@hyukppen3 жыл бұрын
@@jindolkim3973 감사합니다 ㅎㅎ 섀넌이 코드길이 평균의 최소가 entropy임을 수학적으로 밝혔으니 entropy 수식 안에서 -log(p)가 코드 길이다 이렇게 자연스럽게 됐을 수도 있을 것 같아요
@류한웅-n6g2 жыл бұрын
흠 저가 정보이론쪽을 제대로 파진 못해서 맞는지는 모르겠지만 , backpropagation 관점에서 loss function이 가져야 하는 전제조건 중 total 로스는 모든 샘플들의 loss를 합친것과 같아야한다고 알고 있습니다. 이 샘플들은 독립이 되어있고 loss 또한 독립이 되어있어 학습할때 덧셈으로 표현하기 쉬우라고 하는 것이 맞는 것 같긴합니다..
@강동흔-r5o2 жыл бұрын
딥러닝에서 정확도 대신 오차값을 활용하는 이유가 뭔가요?
@hyukppen2 жыл бұрын
정확도는 100개 중 80개 맞추면 80% 입니다. 오차값은 100개 중 몇개를 맞춰냐가 아닌 그 각각이 얼마나 잘 맞췄냐도 알려주죠 그러니 분류 결과만 볼게 아니고 얼마나 분류를 잘했는지도 보는게 좋겠죠?
@Byeonkwan2 жыл бұрын
바보같은 질문일 것 같은데;; 그래서 엔트로피와 크로스엔트로피, Mutual Information 등이 딥러닝에서 어떠한 관계(?), 영향(?)이 있는 건가요?? "꽂히는 딥러닝" 강의 너무 잘 듣고 있습니다. 감사합니다!
@hyukppen2 жыл бұрын
좋은 질문 감사합니다 ㅎㅎ 지도학습에서 딥러닝은 “되고 싶은 값” 과 “현재 모델 출력으로 나온 값” 의 차이를 줄이는 방향으로 업데이트가 일어납니다. 근데 문제에 따라서는 위의 말에서 값=>분포 일 경우가 있는데, 이 때는 단순히 오차제곱의 합보다는 크로스엔트로피를 loss 함수로 정의하고 그것을 줄이는 방향으로 업데이트하는 것이 좀더 안정적으로 수렴합니다. 크로스엔트로피는 딥러닝에서 워낙 많이 쓰이는 loss 함수이다보니 이렇게 따로 짧막하게나마 정보이론 강의를 만들었습니다. ㅎㅎ
@Byeonkwan2 жыл бұрын
@@hyukppen 좋은 강의에 이어,,이렇게 빠른 답변까지 너무너무 감사드립니다! 다중분류 문제에서 코드로만 봤던, Cross-entropy loss function의 상세한 설명으로 이해가 됩니다. 용어 중심으로 드문드문 알고 있던 얕은 지식이 혁펜하임님의 강의로 인해 깊어 진 것 같습니다. 감사합니다!
@우시후-i4w10 ай бұрын
제가봣을땐 구독자가 한 100만명이야 돨거같은 해설이네요
@yunaseo71072 жыл бұрын
closs entropy 구할 때 확률로 q를 사용하는데 왜 기대값 구할 때 sigma q x log q 로 안하고 sigma p x log q 로 하는지 궁금해요
@hyukppen2 жыл бұрын
좋은 질문 감사합니다 실제로 메세지는 p 를 따르는데 (많이 쓰이는 글자가 있음 "ㅋ"
@Snowflake_tv2 жыл бұрын
나는 화학에서 나오는 에너지의 엔트로피를 배우고싶어 눌렀는데!!뜨학...
@이두진-j2j3 жыл бұрын
원래 댓글 안다는데 설명 정말 잘하시네요
@seminkwak4 жыл бұрын
예제를 이용한 설명이 매우 도움 되네요!
@hyukppen4 жыл бұрын
감사함다 ㅎㅎ
@sehyunpark68294 жыл бұрын
나중에 혹시 이론말고 실제로 텐서플로우 등을 이용해서 실습하는 것도 올려 주시나요?
@hyukppen4 жыл бұрын
음.. 딥러닝 관련해서는 사실 제가 첨부터 끝까지 코딩해본적도 없고 남이 짠 코드에 제 아이디어를 반영해서 조금씩만 수정해보고 그런 식이라 가르쳐드릴 수준이 아닌거 같아서 아직은 모르겠어요 ㅠ.ㅠ
@sehyunpark68294 жыл бұрын
@@hyukppen 그렇구나... 그럼 혹시 실습 강의나 책 중 괜찮은거 혹시 추천해주실 수 있나요? CNN을 중점적으로 쓸거 같은데 실제로 안써보니 잘 모르겠어서요 ㅠㅠ
@hyukppen4 жыл бұрын
@@sehyunpark6829 헛 CNN은 그냥 책없이 공부했어가지고.. 강화학습에서 쓰이게 되어서 강화학습 코드 보면서 부분적으로만 봤어요 CNN 관련해서 쉽게 주석달려진 코드들은 인터넷으로 검색하면 많이 나올 거예요!
@sehyunpark68294 жыл бұрын
@@hyukppen 고맙습니다~~!
@seongqjini Жыл бұрын
Cross entropy에 대해 알려주셔서 감사합니다 kzbin.info/www/bejne/g6CYgYeEobaihrc