[딥러닝I] 7강. 엔트로피

[@시]

휴 이제 7강 다 봤네요. 강의 질이 너무 좋습니다!!.

[@ms347]

감사합니다.

[@dhhan68]

엔트로피가 상당히 흥미롭군요. 그냥 불확실성 정도를 비율로 표시한 것이라 알고 있었는데 이런 깊은 의미가...^^ 좋은 공부가 되었습니다.^^

[@SlowAI]

kzbin.info/www/bejne/mmTMqneGaMR0oLc

[@molbbangnim]

여윽시 강의 최고! 근데 엔트로피는 쫌 어렵네요

[@SlowAI]

엔트로피가 정의만 보면 이게 머지 싶은데 가지는 의미 하나하나 파헤치면 심오한 개념이죠 ㅎㅎ

[@1601sean]

이 선생님 왤케 설명 잘하지 했는데 교수님이셨네

[@dhhan68]

5:30 에서 log t 를 미분해서 1/t가 되는 것은 자연로그일 때 해당되는 것 아닌가요? 여기서는 밑이 2라고 하셨는데... 덕분에 로피탈 정리도 알아갑니다. 신기하네요...

[@SlowAI]

네, 맞습니다. 예리하시네요 ㅎㅎ log_2 t = log_e t / log_e 2로 바꾼 다음에 해야 겠네요. log_e 2는 상수라 리미트 앞으로 나와서 극한값은 여전히 0으로 가네요.

[@dhhan68]

@@SlowAI 수식이 불필요하게 복잡해지는데 다행히 1/t 의 극한값이 0이라 0이 되는군요. 늦은 시간에 감사합니다. ^^

[@user-bh4ei6fo7y]

Cnn 관련 강의도 있을까요?

[@SlowAI]

딥러닝II의 11강부터 CNN을 다룹니다.

[@user-bh4ei6fo7y]

안녕하세요 교수님. 자꾸 질문 달아 죄송합니다. 손실함수 공부하다가 Accuracy하고 헷갈려서 질문드립니다. Accuracy 측정은 1-Loss 값이 되는 건가요? 아니면 따로 전체 데이터 중에 정답을 맞힌 개수로 구하는 건가요? Loss는 틀린 갯수가 아니라 함수 이용한 확률에 가까운 것 같아서 여쭤봅니다..

[@SlowAI]

질문 환영입니다. accuracy는 (신경망이 맞춘 수 / 총 테스트 데이터 수) 입니다. 예를 들어, 테스트 데이터 10,000장중에 신경망이 9701개를 맞추었다고 하면 accuracy는 97.01%입니다. 손실함수는 데이터 하나하나에 대해 먼저 정의를 하고 데이터 셋에 대해서는 각각의 손실함수의 평균으로 정의합니다. 100개의 배치 묶음으로 훈련하면 각 100장의 손실함수값을 모두 다 더하고 100으로 나누어 줍니다. 사실 accuracy가 신경망의 성능을 가장 잘 나타내지만 미분이 아무런 정보를 주지 않습니다. 그래서 경사하강법을 적용하기 위해서 손실함수를 생각합니다.

[@user-bh4ei6fo7y]

감사합니다. 그럼 질문 환영이라고 해주셔서 궁금한 것 마저 여쭙겠습니다. 1. 일반적으로 자주 보이는 손실함수 그래프(loss값 변화)는 100개의 미니배치에 해당하는 그래프인가요? 아니면, MNiST기준으로 60,000장의 데이터를 미니배치 100개씩 전체 데이터셋을 다 본다고 했을때 그 전체들에 대한 그래프인가요? 2. 60,000장을 배치사이즈 100으로 (미니배치 총 600개) 학습 한다고 하면, 가중치 갱신은 1번 미니배치 한 묶음(엠니스트 데이터 100장) 10000회 갱신하고, 갱신된 가중치로 2번 미니배치 묶음 학습을 시박하는 것인가요? 아니면 다시 처음부터 랜덤 값으로 시작하여 학습 하는 것인가요? 답변 너무너무 감사합니다!!!

[@SlowAI]

1. 배치묶음 입력하여 손실함수 정의 → 순전파 → 역전파 → 파라미터 업데이트 이 과정을 매우 많이 반복해서 신경망이 학습을 하게 되는데요. 배치묶음 입력할때마다 매번 손실함수값을 그래프로 보여주는 것보다는 에퍽마다 보여주는게 시간도 절약되고 보기에도 더 좋습니다. 단, 에퍽이 끝날때 60,000장 전체에 대한 손실함수값을 보여주는게 아니라 600번째 훈련에서 뽑은 100장의 손실함수 값을 보여줍니다. 2. 첫번째 100장 배치묶음 입력하여 손실함수 정의 → 순전파 → 역전파 → 파라미터 1회 업데이트 갱신된 파라미터 유지 두번째 100장 배치묶음 입력하여 손실함수 정의 → 순전파 → 역전파 → 파라미터 1회 업데이트 갱신된 파라미터는 유지 세번째 100장 배치묶음 입력하여 손실함수 정의 → 순전파 → 역전파 → 파라미터 1회 업데이트 .......................... 여기서 갱신된 파라미터를 유지한다는 건 그레디언트를 갱신된 파라미터 위치에서 구한다는 뜻입니다. 이걸 엄청 많이 반복해나가면 대략 97프로의 정확도를 가지는 신경망 파라미터를 얻을수 있습니다.

[@user-bh4ei6fo7y]

@@SlowAI 감사합니다. 그렇다면, 교재 141쪽 코드에서 #하이퍼파라미터 iteration가 의미하는 바는, “1번 미니배치~600번 미니배치” 를 10000/600 번 도는 것인가요? P.143의 “NOTICE”의 설명에서 확률적경사하강법 100회의 의미는, 141쪽 코드에서 iteration과 동일한지요? 이 부분이 굉장히 헷갈려 지난 주말부터 고민 중인데 이해가 잘 되지 않습니다.

[@SlowAI]

집이라 교재가 없는데 train_neuralnet.py 생각하신다고 가정하고 말씀하드리겠습니다. 15행의 iters_num = 10000은 10,000번 학습하라는 뜻입니다. 한번 학습에 100장씩 사용하니까 전체 학습에는 100×10,000=1,0000,000장 사용이 됩니다. 물론 중복해서 사용하지요. 훈련데이터는 60,000장밖에 없으니까요. 랜덤하게 뽑기 때문에 더 자주 뽑히고 덜 뽑히는 것도 있겠지만 평균잡으면 한장당1,000,0000/60,000∽16번 중복 사용하게 됩니다. 학습시켜보면 그래프에 16에퍽까지 나오는게 이 이유입니다. 말씀하신 “1번 미니배치~600번 미니배치”는 1에퍽동안의 과정입니다. 600×100=60,000이 되서 훈련데이터 전체를 소진하죠. (물론 랜덤하게 뽑아서 중복되는게 있는지라 대충얘기한거입니다.) 확률적 경사하강법 1번 = iteration 1회 입니다.