[AI를 위한 수학] 4-1강. 확률 변수와 확률 분포

안녕하세요! 혁펜하임 입니다.
제가 패캠에 두 개의 인강을 올리게 되었습니다!!
AI 입문자 분들을 위해, 전체 강의 중 “딥러닝을 위한 기초 수학” 챕터의 일부를 무료로 공개합니다!
시그니처 패키지 강의: bit.ly/3zdcEDb (영상은 이 강의의 일부분 입니다.)
혁펜하임의 AI DEEP DIVE: bit.ly/3tREEJo
(AI DEEP DIVE는 시그니처 강사 분들 중 저만 따로 떼서 내용 보강 + 실험 실습 추가로, 각잡고 스튜디오 촬영해서 업그레이드된 버전입니다.)
혁펜하임 응원하기!: / 혁펜하임
혁펜하임 홈페이지: hyukppen.modoo...
혁펜하임 인스타: / hyukppen
-----------------------------------------------------
• 혁펜하임의 “퍼펙트” 신호 및 시스템 (...
• 혁펜하임의 “꽂히는” 딥러닝 (Deep ...
• 혁펜하임의 “트이는” 강화 학습 (Rei...
• 혁펜하임의 “탄탄한” 컨벡스 최적화 (C...
• 혁펜하임의 "보이는" 선형대수학 (Lin...
• LEVEL 0: AI를 위한 기초 수학
• LEVEL 0: 인스톨! 파이썬
• LEVEL 2: Legend 13 & T...
• 혁펜하임의 "면접의 신"
• LEVEL 1: Easy! 딥러닝
-----------------------------------------------------

[@hyukppen]

❗성대 의대 초빙 강사 혁펜하임과 딥러닝 기초 다지기❗ LEVEL 1 - AI DEEP DIVE hyukppen.modoo.at/?link=8bq84dgm LEVEL 1 - 인스톨! 파이토치 hyukppen.modoo.at/?link=131k3k7g LEVEL 2 - Legend 13 hyukppen.modoo.at/?link=5db82s6p LEVEL 2 - TTT: To The Transformer hyukppen.modoo.at/?link=21c4dj8y

[@jayk253]

감사합니다!

[@edk.2302]

혹시 추후에 확통, 특히 bayesian statistics 쪽으로도 강의를 만드실 생각이 있으신가요?

[@hyukppen]

@@edk.2302 딥러닝강의에서 MLE MAP를 다루긴 합니다 ㅎㅎ 따로 전용 커리큘럼을 만들 예정은 현재는 없습니다ㅜ

[@성이름-m5e1c]

강의 잘 들었습니다. 컴팩트하게 주요 개념들을 잘 소개해주셨네요. 확률변수가 함수다, 확률은 함수다 와 같은 개념은 일반인들에게 다소 낯선 내용일 수 있어서 잘 설명해주셨다고 생각합니다. 그런데 PDF와 PMF를 확률함수의 예로 드셨는데, 이들은 확률을 함수라고 생각할때의 관점과는 다르기에 잘못된 설명과 예시라고 생각합니다. 통상적으로 확률을 함수라고 생각할때는 콜모고로프의 고전적 정의를 생각하는 것일텐데, 아시다시피 두 함수는 확률측도의 공리를 만족시키지 못합니다. 가령 확률함수는 정의역이 사건들의 집합족인 시그마 대수를 생각하는 함수인데, PDF나 PMF는 정의역이 확률변수 X의 치역 내지는 그것의 support set으로, 확률함수와는 전혀 다른 특징을 지닌 함수입니다. 사실 pdf와 pmf는 확률분포를 생각하기 위한 개념이지 않습니까? 짧은 시간 내에 주요한 개념들을 소개시켜주기 위해 노력하신 흔적들이 보입니다. 다만, 그 내용이 오해의 소지가 있다면 컴팩트한 강좌의 장점이 다소 사라지지 않을까 싶습니다.

[@성이름-m5e1c]

표본공간 대비 부분집합인 사건들이 가지는 '크기'라는 직관에 부합하도록 하기 위해 유클리드 공간의 '크기' 개념을 일반화한 측도의 개념으로 확률을 도입합니다. 그러나 확률을 함수라고 생각하고자하니 표본공간은 너무 커서 그 값을 구체적으로 계산하고 생각하기 어렵기 때문에 표본공간을 축약해서 생각하기 위해 확률변수를 도입합니다. 확률변수가 도입되면 각각의 실험결과에 따라 확률을 생각하지 않고, 확률변수 값이 같아지는 모든 실험결과에 대해 동일한 확률값을 부여할 수 있기 때문입니다. 이때 표본공간이 확률변수에 의해 어떤 구조로 다시 표현되는지 나타내기 위해 확률분포라는 개념이 나오고 확률분포를 특징짓는 함수가 CDF 그리고 PDF와 PMF입니다. 이들 함수는 확률분포를 표현해주고있기 때문에 이들을 '이용하면' 확률을 계산하기 쉬워집니다. 결론적으로 분포함수들은 확률함수가 아니라, 확률을 계산하는 데에 '이용'하는 함수라고 보는 것이 타당하다고 생각합니다.

[@hyukppen]

@@성이름-m5e1c 와우.. 바로잡아주셔서 감사합니다!! 아직 제가 제대로 이해를 못했는데, '확률 함수' 라는 것이 pmf, pdf 와는 별개로 따로 정의된 개념이 있는 건가요? 저는 확률 질량 함수 확률 밀도 함수 이 둘을 한꺼번에 지칭하기 위해 확률 어쩌구 함수를 => 확률 함수로 표현한 것이었습니다. 그러면 확률 질량 함수, 확률 밀도 함수는 랜덤 변수(함수)를 통과해서 얻은 실수 값에 확률 질량 혹은 확률 밀도를 부여하기 위해 이용하는 함수이다 이렇게는 맞는 설명인거죠? 다만 확률 질량 함수, 확률 밀도 함수는 확률 함수 중에 하나다 이것이 잘못된 부분인 것 같고.. 맞을까요!?

[@성이름-m5e1c]

@@hyukppen 확률함수(또는 확률측도)는 pmf, pdf같은 분포함수와는 다른 함수입니다 :) 확률함수는 표본공간의 정보를 얻어 사건의 '크기'를 정의하기 위해 만들어진 함수, 분포함수는 표본분포의 정보를 얻어 사건의 확률을 계산하기 위해 생각하는 함수라고 이해하시면 될 것 같습니다. 일례로 확률함수 P에 사건의 집합기호 E를 넣어서 P(E)라는 표현을 쓰셨는데 이는 확률함수의 정의역이 비단 확률변수와 상관없이 표본공간의 부분집합이면 된다는 것을 보여줍니다. 이때 E는 확률변수와 전혀 상관없는 표현으로 나타낼 수 있죠. 가령 내가 사건 E를 "현실에선 교수님에게 맨날 깨지는 쭈구리 대학원생인 내가 이 세계에서는 탑티어 저널 씹어먹는 연구자?가 된 사건" 이라고 하면 말도안되니까 공집합에 대한 확률이라하고 0이라 하겠지만 정의는 가능해요. 그런데 분포함수입장에서 생각하면 얘는 확률변수를 거쳐서 이 사건을 표현하고 (마치 아날로그 신호를 디지털로 변환하듯) 그 다음에 분포함수를 이용해서 (시스템에 넣어서) 그 결과를 계산해야하는데 이때 확률변수로 저 사건 X를 표현해야만 그 확률을 생각하고 사건 E를 계산할 수 있으니 이 경우를 설명할때 pdf나 pmf가 곤란하다는 점을 맞닥뜨리실 거에요. 그렇지만 우리 머릿속에서 저런 확률을 정의하는데는 문제가 없죠. 더 자세한 사항은 '확률론' 교과서의 고전적 확률에 대해 찾아보시면 좋을거같아요! 고전적 확률이 인공지능을 사용하는 크리티컬한 역할을 한다고 생각하지는 않지만, WGAN과 같은 논문을 이해하는 데에는 이런 개념을 잘 알고있어야 일단 읽어지니까 누군가에겐 명료한 설명이 있으면 좋을거 같다고 생각했습니다 😄

[@세안-c7w]

좋은 내용 감사합니다

[@louiskim2490]

행복님 댓글보고 곰곰히 생각하다가 제 생각이 맞는지 행복님과 혁펜하임님에게 여쭈어 볼려고 댓글 남깁니다. 확률함수는 더 큰 개념으로 해당 사건의 확률을 구하는 함수로 이해를 했습니다. 해당 사건을 확률변수를 통해서 도메인(?) 변경 후 변경 된 도메인이 - continuos domain 이면 해당하는 PDF 를 적분하는 과정이 확률함수이고 - discrete domain이면 해당하는 PMF를 합하는 과정이 확률함수로 생각하면 맞는지요? 그리고 확률변수의 PDF(PMF) 는 표본공간의 확률분포를 따른다 이렇게 이해하면 맞는지요? 추가적인 질문은 모공간에서 어떠한 사건들이 발생했다는 자체가 해당 사건들로 이루어진 표본 공간이 생겨나고 각각의 사건을 하나의 확률 변수로 모델링해서 확률적으로 해석해서 표본공간으로 전체 모공간을 이해할려고 한다는 제 생각이 맞는 것인지요? 맞다면 확률변수( Random Variable) 의 확률 분포는 어떻게 얻어야 하는건가요? (책으로만 외운 내용으로 질문드려서, 황당해 하실수도 있습니다....)

[@danny04278]

신시듣기전에 이거 들었어야했구나

[@JihoonBang-nu8ef]

yeah, you should've done that...