[딥러닝] 3-2강. 로지스틱 회귀 (Logistic regression)로 보는 머신이 강아지를 학습하는 과정 | 이진 분류 문제

#Likelihood #이진분류
혁펜하임 응원하기!: / 혁펜하임
혁펜하임 홈페이지: hyukppen.modoo.at/
혁펜하임 인스타: / hyukppen
-----------------------------------------------------
• 혁펜하임의 “퍼펙트” 신호 및 시스템 (...
• 혁펜하임의 “꽂히는” 딥러닝 (Deep ...
• 혁펜하임의 “트이는” 강화 학습 (Rei...
• 혁펜하임의 “탄탄한” 컨벡스 최적화 (C...
• 혁펜하임의 "보이는" 선형대수학 (Lin...
• LEVEL 0: AI를 위한 수학
• LEVEL 0: 인스톨! 파이썬
• LEVEL 1~2: 혁펜하임의 딥러닝 유...
• 혁펜하임의 "면접의 신"
• 혁펜하임의 "Easy! 딥러닝"
-----------------------------------------------------
0:00 - Sigmoid는 확률적 접근을 가능하게 함!
1:44 - 그냥 제곱 오차 loss 쓰면 난리난다..
2:56 - Likelihood 설명
6:10 - Step 1: 강아지면 1 다른 건 0으로 나와야 함 (Training)
8:47 - Step 2: 출력이 "강아지일 확률"이 되도록 함
11:59 - Step 3: Loss 정의
14:58 - 동물 분류 문제는 어떻게 할까?

[@hyukppen]

2년이 지난 지금 다시 보니... 이렇게 생각하면 되겠다 싶네요! loss 함수를 미분 해야 할 텐데 그때는 p(Yi | w) 를 w의 함수로 해석하고 미분하게 될테니 결국 loss 함수는 likelihood 가 맞군요! 좀더 정확히 표현하자면 p(Yi | f_w(xi) ) 를 w의 함수로 봤기 때문에 likelihood이다 입니다! -------------------- 혹시 이 강의가 조금 어렵게 느껴지시나요? 그동안 갈고닦은 강의력으로 4년 만에 새로운 딥러닝 강의를 올리게 되었습니다! 지금 보고 계신 영상보다 훨씬 더 쉽고, 더 꼼꼼하게 전달하는 강의니까 아래 재생목록 저장해두고 딥러닝 공부 시작해 보세요! < Easy! 딥러닝 재생목록 > kzbin.info/aero/PL_iJu012NOxdw1jc3KEo8Mq5oD5SXKhLu -------------------- 📢 혁펜하임의 딥러닝 마스터 커리큘럼! LEVEL 1 - AI DEEP DIVE (Easy! 딥러닝의 풀버전) hyukppen.modoo.at/?link=8bq84dgm LEVEL 1 - 인스톨! 파이토치 hyukppen.modoo.at/?link=131k3k7g LEVEL 2 - Legend 13 hyukppen.modoo.at/?link=5db82s6p LEVEL 2 - TTT: To The Transformer hyukppen.modoo.at/?link=21c4dj8y LEVEL 3 - ATT: After The Transformer hyukppen.modoo.at/?link=2mcbufeg

[@jinwoolee8711]

p(Yi | xi) 로 생각하면 왜 likelihood로 해석할 껀덕지가 없는건가요?? 6:05 내용 바탕으로 xi 가 강아지, 새, 소 , 등등등.. 의 사진일때 (given) , 그것이 강아지일확률 이런식으로 이해했는데 껀덕지가 없다고 말씀하셔서 궁굼합니다

[@jinwoolee8711]

그리고 그 .. logistic regression 의 loss를 mse로 구현하면 너무 non linearity 하기 때문에 likelihood 로 loss를 셋팅한다고 말씀해주셨는데 , 실제 classification problem 구현 시 에는 loss를 mse로 계산하지 않나요?? 그렇게 구현했었던 것 같았는데.. 한번 다시 찾아봐야겠네요

[@hyukppen]

@@jinwoolee8711 그렇게 보자면 likelihood 라고 할 순 있을 거 같은데, 그렇게 해석할 이유가 딱히 없는 것 같습니다. MLE를 통해 알아내고자 하는 것은 xi가 아니고 w이기 때문에.. 어떻게 생각하시나요?

[@danny04278]

혁펜은 신인가?

[@user-fg9bn2sl3x]

애매하게 이해되던 부분들이 정말 확실하게 이해되었습니다. 감사합니

[@rlawjdgjs73]

강의력 지리십니다

[@user-ck8gq8zh3n]

감사합니다 ㅠㅠ 많은 도움이 된 것 같습니다,,

[@user-be9iy3tb9h]

정말 갑사합니다!

[@alexanderkim6608]

ㅠㅠ 구독 하고 잘 보는 중입니다..! 혹시 말씀하신 mpe, mlp 등을 이용한 개념들도 설명이 가능 할까요..? 또 최근 ml 에서 자주 쓰인다는 (?) 강화학습도 영상이 가능 할까요???

[@hyukppen]

mpe는 제가 뭔지 잘 모르겠습니다. ㅠ MLP는 마침 강의를 준비해놨습니다! kzbin.info/www/bejne/qXXOd316aLqEr7s 강화학습은 가장 최근에 1강 올렸습니다 ㅎㅎ 내일쯤 2강 올라갈 예정입니다! kzbin.info/www/bejne/mafGpYZqrbyGl7c

[@user-zo2sc5uf9z]

비용함수 구하는 부분의 궁금증이있습니다! 조건부확률의 합을 loss라고 부르고 maximize 하는 대신, -를 붙이고 (+log도 씌워서) minimize 하려고 하는 부분에서, -를 붙이는 것 대신 해당 식의 역수를 비용함수로 만들기도 하나요??

[@hyukppen]

괜찮을 것 같습니다! 제 생각에는 -만 취하는 게 역수를 취하는 것보가 미분할 때 편해서 그렇게 하지 않았을까.. 싶습니다 ㅎㅎ

[@minseongwak7570]

재밌어요! 강아지 분류 예시는 직접 생각하신 건가요?

[@hyukppen]

넵.. 저는 Maximum likelihood estimation 전문으로 했던 사람인지라 logistic 회귀에서 말하는 likelihood는 사실 conditional probability이지 likelihood랑 다르다고 생각이 들었어요. 그래서 나름의 설명 방법을 고민해서 영상 제작해봤습니다 ㅎㅎ 혹시 의문가는 점이 있으시다면 같이 토의해보고 싶습니다.

[@user-wd5wz4ev9m]

선생님, sigmoid를 activation으로 사용하는 분류 모델도 Y=X를 activation으로 갖는 하나의 single layer로 구현가능한거죠? 왜냐하면 sigmoid는 linearizable하니까요...?? 그리고 이것을 일종의 데이터 전처리라고 부르고요..?? 제가 이해한 방향이 맞는지요..? 혹시 제가 잘못 이해하고 있는 부분이 있다면 지적해주시면 감사하겠습니다

[@hyukppen]

생각 조금 해봐야 할 거 같아요 일단 sigmoid을 linearize하신 수식이 어떻게 되나요?

[@user-wd5wz4ev9m]

제가 제대로 계산한 건지는 모르겠지만, sigmoid 함수를 y로 잡고 1/1-y 를 취하고 양변에ln을 취했더니 파라미터에 대해 linear한 수식이 나와서요..

[@user-wd5wz4ev9m]

ln(y/1-y) = ax + b 의 형태로? 나왔습니다. 딥러닝2-1강에서 사용한 linearize 를 적용했습니다

[@hyukppen]

@@user-wd5wz4ev9m 오오.. 맞습니다!! 그래서 logit을 linear regression한다라고도 합니다 ㅎㅎ 혼자서 깨우치다니 놀랍습니다 kzbin.info/www/bejne/n2a9hIiIdtR0nKs

[@user-wd5wz4ev9m]

@@hyukppen 감사합니다 선생님! 강의 열심히 챙겨보겠습니다

[@user-xn2wk9oy5j]

좋은 영상 감사합니다. sigmoid함수를 통해 나온 값을 확률로 해석하는거 까지 이해를 했는데 12:21 왜 loss function을 P의 곱으로 나타내는 건가요?

[@hyukppen]

독립이라서 확률의 곱이 됩니다! 혹시 부호가 이상하다고 생각하시는 거라면 (확률은 키워야할 놈인데 loss라고 한다?) 뒤의 설명에서 -log를 붙여서 뒤집어 줍니다. -log를 취하기 전에는 사실 아직은 loss라는 이름을 붙이면 안되긴 하죠ㅜ

[@user-xn2wk9oy5j]

@@hyukppen 감사합니다~~!

[@hwisungkwon2859]

하나만 여쭤보고 싶습니다. Logisitic regression 파트에서 loss함수에 로그를 왜 자유롭게 씌우는 이유가 최대가능도 추정량을 구할 때 적용하는 거와 같이 로그함수가 단조증가함수라서 그런 건가요? 감사합니다

[@hyukppen]

넵 ㅎㅎ 16:10 에서 설명드린 것과 같이 양수에 대해서는 단조증가함수인 log를 씌우고 maximize 혹은 minimize해도 상관없습니다

[@gaspell]

너무재미있어용 그런데 강아지만 학습시키지 않고 굳이 강아지가 아닌 것까지 학습시켜야 하는 이유가 있나요? 그렇게 하지 않으면 패턴 인식에서 문제가 생기는 건가요? 예를 들어 과적합 같은문제들이요. 아니라면 왜인지 알고 싶습니다

[@hyukppen]

이렇게 생각해볼 수 있습니다. 강아지만 보여준다면 출력이 1이 나오도록 계속해서 유도를 하겠죠? 물론 강아지를 넣었을 때 1이 나오도록 하는 거니까 좋은거지만.. 훈련시 loss 를 줄이는 방향으로 열심히 학습해 나갈텐데 죄다 1이 나오는 게 좋다고 유도를 한다면 결국 강아지의 (다른 동물과는 다른) 특징을 잘 파악해서 1이 나오게 학습되는 것이 아닌 뭔 그냥 사진만 넣었다하면 냅다 1이 나오도록 학습될 겁니다. 그래도 training loss는 계속 작아지니까요. 정작 test 시 강아지가 아닌 사진을 넣었을 때도 1이 나올 가능성이 매우 다분합니다. 인간도 똑같지 않을까요? 태어나서 한번도 강아지 이외에 다른 동물을 본적이 없다면.. 네 발만 달려도 강아지로 생각하지 않을까요?

[@gaspell]

@@hyukppen 감사합니다 직관적으론 이해가 돼요. 다만 음 정말 그런지 궁금하네요. 직접 제가 한번 실험해보고 알려드릴게요. Mnist나 imagemet에서 하나의 class만 골라서 회귀작업을 수행하도록 해봐야겠네요. 근데 딱 생각해봤을때, 당연히 학습이 제대로 안될거같아요. 강아지는 1이야~라고만 학습시키면 0은 뭔지 알수가 없어지니까 어려워지겠죠. 그리고 애초에 시각적 인식 문제가 다차원 공간에서의 회귀 작업으로 풀 수 있는 문제는 아닐테니 결국 분류 문제일텐데, 분류작업에 nn이 쓰일 땐 svm처럼 경계를 구축하는 작업을 하니까 하나의 클래스만 학습시키면 제대로 학습되지 않겠네요 강아지 사진들만 모아보면 그것들은 다차원 공간 상에서 한곳에 모여있을 텐데, 강아지만 계속 학습시키면 결국 그 경계는 거의 랜덤하게 생길 테니까요 그러니까 classification을 하는거일 테고요. 음.. 근데 gan같은 학습데이터의 분포를 도출하는 모델을 사용한다면 강아지만 학습시켜도 될거같다는 생각도 듭니다 혹시 이상한 점이 있다면 지적 부탁드립니다 답변 감사드립니다 ㅎㅎ

[@hyukppen]

@@gaspell SVM 말씀하시니까 딱 이해가 가네요! 경계를 만들어야 하는데 1에 해당하는 애만 보여주면 어디에 경계를 세워도 이상하지 않아져 버려서.. 강아지 이미지를 생성하는 GAN 모델이라면 그쵸 다른 동물도 만들 수 있는 능력을 갖출 필요는 없을 거 같아요. MNIST 해보시고 결과 알려주세요 ㅎㅎ

[@user-gt3zu9wu2v]

1:35 시그모이드 함수 수식 1/1+e^-x 로 쓰이지 않나요??

[@hyukppen]

넵넵 맞습니다! ㅎㅎ 칠판에 적은 것은 단지 e^x를 분모 분자에 곱해준 형태입니다