[딥러닝] 3-3강. 소프트맥스 회귀 (Softmax regression)로 보는 머신이 동물을 분류하는 과정 | 다중 분류 문제

[@hyukppen]

3:54 - 또한, 만약 저렇게 하면 xi에 음수가 포함되어 있을 때는 0~1 사이가 아닌 (확률이 아닌) 값이 될 수도 있고 분모가 0에 가까울 때 값이 튀는 문제가 있을 수 있습니다. -------------------- 혹시 이 강의가 조금 어렵게 느껴지시나요? 그동안 갈고닦은 강의력으로 4년 만에 새로운 딥러닝 강의를 올리게 되었습니다! 지금 보고 계신 영상보다 훨씬 더 쉽고, 더 꼼꼼하게 전달하는 강의니까 아래 재생목록 저장해두고 딥러닝 공부 시작해 보세요! < Easy! 딥러닝 재생목록 > kzbin.info/aero/PL_iJu012NOxdw1jc3KEo8Mq5oD5SXKhLu -------------------- 📢 혁펜하임의 딥러닝 마스터 커리큘럼! LEVEL 1 - Easy! 딥러닝 hyukppen.modoo.at/?link=2n1a6p7t LEVEL 1 - 인스톨! 파이토치 hyukppen.modoo.at/?link=131k3k7g LEVEL 2 - Legend 13 hyukppen.modoo.at/?link=5db82s6p LEVEL 2 - TTT: To The Transformer hyukppen.modoo.at/?link=21c4dj8y LEVEL 3 - ATT: After The Transformer hyukppen.modoo.at/?link=2mcbufeg

[@user-mg6is1hz2g]

이런 강의가 공짜라니 유튜브가 좋기는 하네요... 쉽게 잘 가르치시네요...

[@danny04278]

1:31 이게 무슨 말씀인지 이해를 못했습니다. 벡터로 뽑는다는게 출력 레이어 값을 다 사용해서 열벡터로 나타낸다는건가요?

[@hyukppen]

넵 출력 노드가 세 개면 세 개 값이 나올테니 벡터가 출력으로 나온 것입니다!

[@user-nt7tn6cw6w]

재밌게 잘 가르치시네요. 감사합니다. ^^

[@hyukppen]

말씀 감사합니다! ㅎㅎ

[@kyunghoonchang7202]

정확한 수식적 이해가 강의를 통해서 얻기 어렵네요

[@hyukppen]

cross-entropy에 대한 수식 설명은 4강. 정보이론 기초, Cross-entropy와 KL-divergence ( kzbin.info/www/bejne/sGLOaXuMipmArsU ) 가 도움이 될 것 같습니다!

[@swyy4903]

label을 100 010 001로 가져가는 순간 outputnode를 sigmoid로 하든 softmax로 하던 다른 클래스를 고려한 상대적 학습이 되는것 아닌가요? 예를 들어 label을 100 에 대해 역전파하면 자연스럽게 정답 클래스와 나마지 클래스를 고려하여 상대적 학습을 하게 되는것 같은데 제가 간과하고 있는 부분이 있나요?

[@hyukppen]

시그모이드를 각 출력에 달아놓으면 합이 1이라는 보장이 없어서 100으로 학습되기가 cross entropy보단 어려울 것 같습니다. 그리고 합이 1이 아니므로 출력이 분포도 아니게 됩니다. cross entropy식을 구해봤을 때는 100이 되기 위해서는 첫번째 출력만 1로 가깝게 하기만 해도 나머지는 자연스레 0으로 가게 됩니다(합이 1이여야 하므로) 하지만, 시그모이드로 하면 별로다는 것이지 불가능하다는 것은 아닙니다 ㅎㅎ

[@swyy4903]

@@hyukppen 특정클래스 값이 커지게 학습되어도 합이1이 안되면 다른 클래스 값 이 낮아지게 출력되는 학습이 힘들수도 있겠네요 ! 한수배워 갑니다😊

[@user-rw9hv5xf4u]

좋은 강의감사합니다. 많은 도움이 됩니다. 궁금한 점이 있습니다. 1. Loss 값을 결정할때 앞에 마이너스를 붙여주는 것이 확률적으로 (1-확률) 이기때문에 그렇게 표현한 것인가요? 예를들어 1/3라는 확률이면 LOSS값은 -1/3 = 2/3으로 해석하는게 맞는건가요? 2. cross - entropy에서 p값의 결정 조건은 뭔가요? 가령 만약 소라면 010을 p로 해줄텐데 이때 p를 결정하는 근거가 무엇인가요? 상대값이 높은걸 기준으로 정하는 건가요? 3. soft max의 아웃풋이 인풋의 수와 같다고 그림으로 그렸는데 010, 100, 001을 곱해준다면 굳이 출력을 나눠서 해주는 이유는 무엇인가요?

[@hyukppen]

1. loss는 나쁜겁니다. 줄여줘야할 놈이죠. 확률은 높여줘야할 높입니다. 그래서 -확률은 줄여줘야할 loss입니다. 그래서 붙였습니다. 2. p는 되고싶은 값입니다. 개면 100 고양이면 010 .. 이런식으루요 3. softmax의 입력 개수가 3개면 출력개수도 3개입니다. 그냥 함수의 생김새가 그렇습니다. 010 100 001을 곱해준다는 것은 cross-entropy를 구하기 위함입니다. softmax를 통과하지 않으면 뉴럴넷 결과 합이 1이 넘을 수 있습니다. 확률은 합이 1이 되야하기 때문에 반드시 softmax를 통과해야합니다~

[@user-rw9hv5xf4u]

@@hyukppen 답변 감사합니다. 2번에 대한 답변이 잘 이해가 가지 않습니다. 예를 들어 고양이 사진을 기계에 넣으면 기계는 고양이라고 판단을 해야할 것입니다. 그런데 p값이 원하는 값이라고 하면 제가 만약 소를 원하면 소가 결과로 나오게 될 것 입니다. 이 경우 기계의 입력과 출력이 달라지게 되는데 … 아닌가요?

[@hyukppen]

@@user-rw9hv5xf4u 고양이 사진을 넣었을 때 소라고 판단하도록 결과가 나오게 하고싶으시단건가요?

[@user-rw9hv5xf4u]

@@hyukppen 아 제가 잘못생각한것 같습니다. 혹시 이 모든 과정이 테스트 과정에서 시행되는 것을 기반으로 설명하는 것인가요? 가령 머신에 데이터를 넣어줄때 고양이사진 + 이것은 고양이다를 넣어주어 가중치를 최적화(즉, LOSS를 줄이는 과정)하는 작업인가요? 구글에서 시행하는 여러 사진을 넣어두고 고양이 사진을 찾으세요. 하는 것도 이러한 과정의 일종이구요. 그리고 나중에 이렇게 만들어진 머신을 사용하게 될때는 이미 최적화가 맞춰진 상태가 되는 것이구요. 저의 생각이 맞나요..? 저는 처음에는 그냥 아무사진만(어떤 데이터도 없이 그냥 사진한장) 넣어주면 알아서 가중치가 정해지는 줄 알았거든요...

[@hyukppen]

@@user-rw9hv5xf4u supervised learning과 training, test 에 대한 것이 헷갈리고 계신것 같아요 ㅎㅎ 하나씩 설명 드리겠습니다. supervised learning - 이 사진이 강아지인지 고양이인지 "완벽하게" 알고 있다는 것을 전제로 하는 학습입니다. 따라서, 말씀하신대로 무슨 사진인지 모르채 사진을 마구 넣으면 학습이 불가능합니다. 강아지 사진인지 아는 상태에서 강아지 사진을 넣고 출력이 100 이 나오도록 "유도" 하는 것입니다. training - 위에서처럼 강아지면 100 고양이면 010 이 나오게끔 가중치를 학습시키는 것이 training입니다. test - 강아지 사진임을 알고있는 상태에서 강아지 사진을 넣는 것이 무슨 의미가 있는가 의문이 들 겁니다. test 과정에서는 training이 이미 끝난 모델에다가 처음보는 "어떤 사진" 을 넣는 겁니다. 학습이 제대로 됐다면 그 "어떤 사진"이 강아지 사진이라면 100에 가깝게 나올 것이고 고양이 사진이었다면 010에 가깝게 나올 겁니다.

[@user-ky8wo5fp4x]

얀녕하세요. cross entropy의 loss함수는 개를 개라고 할 확률이 높을 때 낮아지는데, 그러면 개를 고양이라고 할 때의 error는 포함하지 않는 건가요?

[@hyukppen]

개를 고양이라고 하는 확률은 낮췄다고 볼 수 있습니다. 왜냐면 cross-entropy 식에서 p는 [1 0 0] 이고 q는 이것과 비슷하게 만들기 때문에 개에 해당하는 확률은 1로, 고양이에 해당하는 확률은 0으로 다가가는 것이기 때문입니다 ㅎㅎ 근데 p 벡터가 하나의 element만 1이고 나머지는 0이다보니 시그마-plogq 가 -logq 가 되어서 마치 개라고 할 확률만 높이는 것처럼 느껴지는 것이지요~ 확률의 합은 항상 1이 되야하기 때문에 개에 해당하는 확률만 늘려도 다른 동물에 해당하는 확률은 이와 동시에 낮추는 셈이 되는거죠!

[@user-ky8wo5fp4x]

@@hyukppen 감사합니다!