No video
[핵심 머신러닝] 로지스틱회귀모델 2 (파라미터 추정, 해석)
Рет қаралды 23,170
![김성범[ 교수 / 산업경영공학부 ]](http://yt3.ggpht.com/ytc/AIdro_mWwhQeGQPwIyBiV88b5htY6vhPJfUXlhO1TKC6ur0wnA=s48-c-k-c0x00ffffff-no-rj)
Күн бұрын로지스틱 회귀모델의 파라미터를 추정하는 방법론에 대해 설명하고 실제 사례를 통해 모델 결과를 해석합니다.
@jobsub2613 4 жыл бұрын
교수님, 너무고맙습니다. 현직데이터사이언티스트지만 이런영상은 돈주고도 못듣는 퀄리티입니다ㅜ 영상을 5번씩정주행하겠습니다. 더불어 책도 꼭출간해주시면 감사하겠습니다!
@user-yu5qs4ct2b 4 жыл бұрын
감사합니다!
@user-mg6is1hz2g 3 жыл бұрын
진짜 좋은 강의네요... 너무 수학에 치우치지도 않으면서, 해당 수식을 어떻게 어디에 쓰는지 사례를 들어서 설명해 주시는 게 이해가 쏙쏙 됩니다... 고등학생들도 쉽게 이해할 수 있을 정도에요... 한국에서는 강의 전달력 제일 좋으신 듯...
@user-yu5qs4ct2b 2 жыл бұрын
감사합니다~
@Sjk-vr9tp Ай бұрын
오늘도 잘 들었습니다.
@user-ly9oc5qc8f Ай бұрын
감사합니다!
@user-dv3in6jn5k 3 жыл бұрын
교수님, 공부하는데 교수님 강의 최고입니다. 감사합니다!
@user-yu5qs4ct2b 3 жыл бұрын
감사합니다!
@hyunjunyu3136 4 жыл бұрын
강의 잘 보았습니다. 많은 도움이 되었습니다. 좋은 강의 고맙습니다.
@user-yu5qs4ct2b 4 жыл бұрын
감사합니다!
@HJJANG1357 2 жыл бұрын
제 지도교수님보다 더 지도교수님 같으시네요. 정말 감사합니다. 많이 공부하고 갑니다.
@user-yu5qs4ct2b 2 жыл бұрын
감사합니다 ~
@byoonmin782 6 ай бұрын
좋은 강의 감사합니다 !
@MZ-pj4eq 3 жыл бұрын
교수님, 감사합니다!!
@user-yu5qs4ct2b 3 жыл бұрын
감사합니다!
@starriet 2 жыл бұрын
좋은 영상 감사합니다! 4:47 수식 맨 아랫줄 및 5:33 식에서 두번째항에는 -가 붙어야하는것 같습니다 ㅎㅎ 보시는분들 참고하세요~~
@rlawjdgjs73 2 жыл бұрын
1-y_i 계수도 빠진거 아닌가요??
@starriet 2 жыл бұрын
@@rlawjdgjs73 그건 문제 없는 것 같아요. -y_i 를 왼쪽의 분모인 1-pi(x_i) 로 해준것같은데요 ㅎ
@rlawjdgjs73 2 жыл бұрын
@@starriet 아 맞네요! 감사합니다.
@user-nd7zk4ts1r 5 жыл бұрын
통계학과 재학중인 학부생입니다. 항상 좋은 강의에 감사드립니다! 영상 5분 10초쯤에서 MLE method중 마지막 줄의 중간에 부호가 +가 아니라 -가 되야 맞는게 아닌가 여쭤보고 싶습니다. 바로 윗줄 우측항을 직접 수기로 계산해보니 밑에 수식의 역수가 나왔습니다. log에 포함되어 있으니 -부호로 나올거라 생각했습니다. 추가적으로 직관적으로도 영상의 수식이 맞다면, lnL 함수가 최대가 되게 하는 beta^hat은 beta_0가 무한정으로 커진다면 함수 또한 무한정으로 발산한다고 생각합니다.
@user-yu5qs4ct2b 4 жыл бұрын
답변이 늦어 미안합니다. 네. 재환님이 맞습니다. -가 되어야 합니다. 자세히 봐 주셔 감사합니다.
@inufa1414 4 жыл бұрын
놓칠뻔했는데 덕분에 저도 배웠네요. 감사합니다
@TV-ez7wc 3 жыл бұрын
기억이 나지 않을떄마다 찾아 보게되는 바이블 같아요.^^
@user-yu5qs4ct2b 3 жыл бұрын
감사합니다!
@cxh2097 3 жыл бұрын
크 최곱니다 교수님...
@user-yu5qs4ct2b 3 жыл бұрын
감사합니다!
@user-tx9lv3bt8h 2 жыл бұрын
교수님 강의 잘 듣고 있습니다. 감사합니다. 강의 내용 중 궁금한 점이 있어 질문을 남깁니다. 4:55초에 나오는 로지스틱 모델의 파라미터 추정 부분에서 1−π(x_i )를 정리하면 1+e^(β_0+β_1 x_1+⋯+β_p x_p )가 된다고 하셨습니다. 그런데 제가 식을 전개해 봤을 때는 1−π(x_i )가 아니라 그것의 역수인 1/{1−π(x_i )}가 1+e^(β_0+β_1 x_1+⋯+β_p x_p )이 된다고 생각합니다. 따라서 마지막 전개식에서 두 ∑ 사이의 +가 -로 바뀌어야 한다고 생각하는데 맞을까요?
@zinc3326 4 жыл бұрын
19:00 쯤에서 대출확률의 odds ratio가 1.058라는 것은 '대출확률'이 1.058배 증가하는 것이 아니라 정확히는 '대출확률의 odds'가 1.058배 증가하는 것이고 따라서 대출확률이 (어느 정도일지 직관적으로 모르겠지만) 증가한다. 로 받아들였는데 맞을까요? 제 이해와 설명이 일치하지 않아서 헷갈려요. 23:15 쯤에서도 그렇습니다. 영상에서는 odds와 확률이 정비례한다는 식으로 설명해주셨는데, 그게 맞는건가요?
@MrJonghwi91 4 жыл бұрын
Odds 증가가 맞는것 같습니다
@user-bq1pv1ww7i 3 жыл бұрын
안녕하세요 교수님 머신러닝 강의 정말 잘 듣고 있습니다. 그래서 하나 질문 드리고 싶은 건데 교수님께서 "log likelihood 함수를 최대화한다는 것은 Cross entropy를 최소화시킨다는 것과 같은 의미"라고 하셨는데 이게 왜 같은 의미인지 알수 있을 까요?
@user-cy8ny6ll5h 2 жыл бұрын
아 강의가 너무 좋아서 돈안내고 듣는데 죄책감 드네 ㅠ
@manaZ-kq2lf 3 жыл бұрын
교수님 너무 감사합니다 ㅠㅠ 진짜 정리가 잘되네요ㅠㅠ.. 하루종일 로지스틱회귀 분석 찾고 공부하는 와중에 이 강의 듣고 해결이 되었습니다 ㅠㅠ 하나 질문 드리면.. 혹시 마지막 예제에서 사회적지위를 원핫인코딩해서 넣었기 때문에 변수가 2개되어 파라미터도 2개로 나오고 그에 대한 odds ratio는 각각 어떻게 해석하면 좋을까요..? 예를 들면, X2의 회귀계수 B(베타)2의 odds ratio는 1.505 값인데.. X2에서 인코딩된 값 0은 ‘상’, ‘하’에 해당되고 1은 ‘중’에 해당된 값인데.. 해석을 어찌해야 할 지 고민이되네요..ㅠ! 그리고 혹시 빅데이터 머신러닝에서는 예측을 강조하는 부분이 강해서 이렇게 회귀계수별로 해석을 주로 안하나요..? 많은 강의에서 그렇게 가르쳐서 통계분석을 배울 때와 머신러닝쪽에서와 조금 강조점이 다른 것 같다는 생각이 드네요..
@user-yu5qs4ct2b 3 жыл бұрын
1. X2와 X3는 각각 1,0 그리고 0,1로 인코딩 하였습니다. 따라서 이경우에는 0,0인 "상"을 기준으로 해석하면 됩니다. 즉, 1.505는 "상"에 비해 "중"이 1.505배 질병 확률이 높다. 2. 로지스틱 회귀모델은 분포를 가정하고 있는 고전적인 통계 기반 머신러닝 모델입니다. 따라서 로지스틱 회귀모델, 일반선형회귀모델에서는 회귀계수에 대한 통계적 추론이 중요하게 생각됩니다. 하지만 비교적 최신 머신러닝 기법 (Decision tree, Random forest, Boosting, SVM, Neural Networks 등)은 다른 방식으로 변수 중요도를 산출합니다. 통계모델이나 머신러닝 모델 모두 최근에는 예측에 초점을 맞추고 있는 추세이며, 예측에 중요하게 작용한 변수 탐색 역시 중요한 분야입니다.
@kwangminkim1735 5 жыл бұрын
교수님 강의 잘 보고있습니다. 질문 하나만 해도 될까요? 제가 약 400개의 variables을 갖고 있는 데이터가 있는데 elastic net->stepwise regression with 'both direction' 을 해서 약 10개의 significant variables을 얻었는데 그중에 2개변수들의 vif score가 17 정도로 굉장히 높아요. 공선성이 있으면 결과값이 왜곡될수있다고 알고 있는데 두변수 모두 pvalue 가 매우 낮아요. 이 두변수를 제거해야하나요? 공선성이 있어도 왜 유의미한 pvalue를 갖나요?
@user-yu5qs4ct2b 5 жыл бұрын
VIF가 17이면 아주 높다고 예기하기는 어렵습니다 (물론 이론적으로 VIF가 1보다면 크면 다중공선성이 있다고 보긴 하지만). P-value는 변수간 상관관계를 고려하지 않고 계산한 것이기 때문에 유의미하더라도 VIF는 높을 수 있습니다. 두 변수 중에 하나만 사용해 보면 어떨까요? 두 변수 중 어떤 것을 사용할지는 하나씩 해 보고 예측력이 높은 것을 사용하면 될 것 같습니다.
@kwangminkim1735 5 жыл бұрын
@@user-yu5qs4ct2b 그렇군요! 답변 정말 감사드립니다! 사실 마지막 질문이 하나 더 있긴 한데 좀 귀찮게 해드리는 거 같아서 다음에 질문드릴게요! 오늘 좋은 하루 보내세요!
@user-ti2yi9gv6h 2 жыл бұрын
교수님 강의 너무 감사합니다. logit 의 링크의 경우 canonical link function 이라 loss function의 global minimum 최적해가 항상 보장되는 걸로 알고있는데 맞을까요?
@user-qv3yc3vx9g 3 жыл бұрын
교수님, 안녕하세요. 질문있습니다. 유의하지 않는 설명변수가 있고 연구자가 필요하지 않다고 판단된다면 그변수를 빼고 다시 로지스틱회귀분석을 해야 됩니까? 이니면 기존의 분석된 회귀모델에서 그 유의하지 않는 변수만 빼고 파라메타값으로 추정해야 되나요? 예)기존모델 = 0.1 x1+0.2 x2 (x2가 유의하지 않음) 변경모델=0.1 x1(사용가능?)
@user-yu5qs4ct2b 3 жыл бұрын
답변이 너무 늦었습니 ^^ 위에 말씀 하신대로 연구자가 필요하지 않다고 판단되는 유의미하지 않은 변수는 제거 후에 다시 모델을 구축하는 것이 일반적입니다.
@user-xw3fm6rz8i 4 жыл бұрын
교수님 공부하다가 질문있습니다!(답변해주신다면 정말감사드리겠습니다) odd의 목적, 최대우도 추정법까지 오는 논리적인 흐름은 잘이해했습니다. 그런데, 왜 로지스틱 회귀모델에서 로그-우드함수(lnL)이 "최대가 되는" 베타set을 구하는게 모델링의 목표가 되는지 궁금합니다. 즉 로그우도함수 값이 최대이면 어떤측면에서 장점이 있는것인가요..? 수식적으로도, 전체적인 의미에 있어서도 궁금합니다. p.s.좋은강의 올려주셔서 진심으로 감사합니다!
@user-yu5qs4ct2b 4 жыл бұрын
우도 (likelihood)는 확률이라고 보시면 됩니다 (로그는 그냥 계산상 편리하게 포함했다고 보시면 됩니다). 즉, 버눌리 확률함수로 모사한 확률을 최대로 하는 파라미터가 무엇인지 찾는다는 의미로 보시면 되겠습니다. 요약하면, "버눌리 확률함수의 로그우도함수를 최대로 하는 파리미터를 찾는다"로 보시면 됩니다.
@user-tb4rm1xs3m 3 жыл бұрын
안녕하세요 강의 잘 듣고 있습니다! 강의 관련 질문이 있어서 댓글 남깁니다. 19:44초쯤에 3개의 범주에 해당하는 사회적 지위를 2개의 이진변수로 표현한다는 것을 확인했습니다. 그런데 머신러닝 관련 자료에서 one-hot encoding을 할 경우 3개의 범주는 3개의 변수를 활용하여 [1,0,0], [0,1,0], [0,0,1]과 같이 구현하는 것을 학습했는데, 변수의 개수를 정의(구현)하는 기준이 있나요? 감사합니다!
@user-yu5qs4ct2b 3 жыл бұрын
같은 효과라고 보시면 됩니다. 여기서는 "상"의 경우 (0,0)이기 때문에 상에 대한 직접적인 중요도는 보기 어렵습니다. 하지만 [1,0,0], [0,1,0], [0,0,1]으로 구현하면 "상", "중", "하" 모두 중요도를 볼 수 있습니다,
@namuni67541 3 жыл бұрын
안녕하세요! 질 좋은 강의에 감사인사부터 드립니다! 다름이 아니라 한 가지 질문드려도 될까요!? 이진분류 결과값을 결정하는 기준인 임곗값을 설정할 때 해결하려는 문제에 따라 낮은 임곗값, 높은 임곗값을 설정한다고 설명해주셨는데요! 그렇다면 구체적인 실수값으로서 임곗값을 설정할 때 주로 학습 데이터를 기준으로 설정한 값을 최종 테스트 데이터에 대해서까지 계속적으로 유지해서 설정하나요!? 임곗값 설정이 중요한 문제가 될 것 같아서요!
@user-yu5qs4ct2b 3 жыл бұрын
이론적으로 임계값은 학습데이터에서 이렇게 저렇게 바꾸어 보고 testing error가 최소가 되는 값으로 정합니다. 하지만 현실문제에서는 특정한 문제를 제외하곤 임계값을 0.5 근처에서 정합니다. 너무 극단적으로 작게 하거나 크게 하면 여러가지 문제가 발생할 수 있습니다.
@namuni67541 3 жыл бұрын
답변감사드립니다!
@user-mu5sz5qj8j 3 жыл бұрын
안녕하세요. 오즈비 해석과 관려하여 문의드립니다. 오즈비가 1.030일경우 ~할 확률이 1.03배 증가한다고 하셨는데, 확률로 해석을 하려면 다른 변환을 다시 거쳐야 하는 것이 아닌지요? 승산비가 1.03이다 이렇게 해석하는 걸로 알고있고... 아니면 ~할 가능성이 3% 증가한다 이렇게 표현하는 걸로 알아서요.... 혹시 제가 틀렸다면 알려주세요
@user-yu5qs4ct2b 3 жыл бұрын
네. 알고 계신 것이 맞습니다.~
@KimJangJoo 3 жыл бұрын
경험이 1년 더 많으면 대출 확률이 1.058배 증가한다고 하셨는데 그럼 경험이 10년 20년 많으면 1년 마다 확률이 1.058배씩 증가해 확률이 1이상이 되어버리면 어떻게 하죠?
@user-nn7kr2nv6v 2 жыл бұрын
정확히는 Odds가 증가하는 것이라 아무리 실패에 대한 성공의 비율이 1을 넘어가더라도 실제 성공확률은 (성공)/(성공+실패), 즉 1을 넘어가지 않습니다. 교수님께서 영상에서 Odds와 확률을 구분하시지 않고 설명하신 듯하네요. 제가 이해한 바가 맞는지 다른 분께서 검토해주시면 감사하겠습니다 ㅎㅎ
@KimJangJoo 2 жыл бұрын
@@user-nn7kr2nv6v 맞아요 확률이 1.058배 증가하는 것이 아니라 오즈값이 1.058배 증가하는 것이죠.