정규성 검정의 대표검정, Shapiro-Wilk 검정의 직관적 이해

[@statisticsplaybook]

📘Shapiro와 Wilk의 오리지널 논문 구경가기📗 www.bios.unc.edu/~mhudgens/bios/662/2008fall/Backup/wilkshapiro1965.pdf

[@이창규-n7g]

감사합니다

[@_184]

질문이 있습니다. 1.parametric test가 모집단의 정규성을 전제하는건가요, sample의 정규성을 전제하는건가요? 모집단의 정규성이 확인되면 샘플도 정규성이 만족되므로 parametric test를 할 수 있는건가요? 2. QQ plot이나 shapiro-wilk 둘다 모집단의 정규성을 확인하는 방법인가요? sample들의 정규성이나 sample mean의 정규성은 확인하지 않는건가요? 3. n이 클 때 sample mean이 normal하다는 CLT가 만족되는데, 이 경우에 모집단의 정규성은 보장할 수 없는 걸로 알고 있습니다. 그렇다면 parametric test를 쓸 수 없는 건가요? 1번 질문에 대해 명확히 이해하고 있지 않아 3번 같은 궁금증이 생깁니다. 답변 부탁드려도 될까요?

[@statisticsplaybook]

1. 모집단의 정규성을 테스트하기 위한 검정입니다. 모집단의 정규성이 만족이 되지 않았다고 하여 모수검정을 못하는 것은 아닙니다. 모분포가 정규분포를 따른다는 가정을 사용하는 모수검정을 못하는 것이죠! 3. 1번에서 모분포가 정규분포를 따르지 않는다고 판단이 되더라도, 중심극한 정리에 따라서 n이 큰 경우 모수검정을 할 수 있습니다. SW 검정을 시행하는 경우는 n이 지 않은 경우가 많습니다. 2. 정확하게 내가 가진 표본이 정규분포에서 뽑혔다고 볼 수 있는가? 에 대한 검정이므로, 모분포가 정규분포냐를 체크하는 것이라 생각하시면 됩니다!

[@_184]

@@statisticsplaybook 설명 감사드립니다. 1. 즉 모집단의 확률분포가 정규분포를 따른다는 가정을 사용하는 모수검정은, QQplot, SW, KS 등으로 모집단의 정규성을 확인하였거나, n이 충분히 커서 CLT를 이용할 수 있는 경우에 사용할 수 있다라고 이해하면 될까요? 2. 질문: 모집단이 정규분포일 때 '표본평균이 정규분포를 따르므로' 모수검정이 가능한 것인가요? 모집단의 정규성을 가정하는 모수검정은 근본적으로 '표본평균이 정규분포를 따를때 사용'하는 것으로 이해해도 되나요?

[@dextertylor8237]

한 변수에 대한 G1.G2.G3.G4의 데이터가 있다면 각각의 군에 대해 정규성 검정을 진행하는게 맞나요?

[@곽재석-w7m]

짧은 지식으로 질문을 드려봅니다... (저와 비슷한 질문을 하신 분이 있는 거 같긴 한데...) 기본적인 t.test를 할 때도 정규성 검정을 꼭 해야하나 싶은 생각이 들기도 합니다. n이 30 이상이니까 중심극한정리에 따라서 정규분포를 이루는 거 아니야? 그럼 굳이 정규성검정 해야 하나? 의 고민입니다. 왜도첨도가 2, 7을 안넘었는데, Shapiro-Wilk 검정같은 정규성 검정을 했을 땐 p 값이 0.05보다 낮게 나오기도 해서 내가 뭘 따라가야 하나 싶습니다.

[@statisticsplaybook]

t 검정 통계량의 유도 중 가정이 모분포가 정규분포를 이룬다는 가정이 있기 때문이죠. 표본평균은 중심극한정리에 의하여 정규분포로 수렴하지만, 표본표준편차로 대체가 검정통계량이 n이 언제 정규분포로 수렴하는지는 애매하므로 모분포의 정규성을 보이면 쉽죠. SW 검정은 표본수가 많을 때, 귀무가설이 기각되는 경우가 빈번하기 때문에 QQplot을 동시에 그려서 정규성 가정을 분석가가 판단하는게 좋아요!

[@임재우-e9e]

안녕하세요 정규성 검정에 대한 귀무가설이 다음과 같은데 이 가설은 단측검정을 통해 유의성 검정을 해야한다고 하더라구요... 근데 이 부분이 잘 이해가 되지 않습니다. 범위나 방향성에 대한 내용이 없기 때문에 양측검정을 해야하는 것이 아닌가? 생각했었는데 관련 내용을 찾아봐도 잘 찾을 수 없더라구요... 혹시 단측검정인 이유가 어떻게 되는지 알 수 있을까요.?? 귀무가설: '정규분포의 모양과 수집된 데이터의 분포모양은 차이가 없다(같다)' 대립가설: '정규분포의 모양과 수집된 데이터의 분포 모양은 차이가 있다(다르다)'

[@statisticsplaybook]

레퍼런스 알려주세요! 확인하고 의견드리겠습니다. 아마 Shapiro wilk 검정통계량이 1과 가까우면 정규성을 띄는 것을 의미하고 0으로 떨어지면 정규성을 안 띄는 것을 의미해서 단측으로 정해질 가능성도 있겠군요!

[@임재우-e9e]

@@statisticsplaybook 따로 레퍼런스가 있던것은 아니고 제 궁금증에서 출발했습니다. 어느 블로그에 다음과 같이질문을 드렸는데 단측검정이라고 말씀은 해주셨지만 이유를 말씀해주시지 않아서 혼란스럽더라구요… 5%의 유의수준에서 양측검정일땐 2.5%씩 기각역을 나눠가지고, 단측검정일땐 5%의 기각역을 가진다는 지식하에 파이썬 코드를 보다보니 
출력되는 p-value 값이 양측검정을 기반으로 나온 값인지, 단측검정을 기반으로 나온 값인지 어떻게 알 수 있나 궁금하더라구요. 아니면 양측,단측 상관없이 0.05보다 크기만 하면 되는건지 궁금증이 생겨 질문을 남깁니다. 

이런 궁금증이 생긴 이유는 p-value가 0.035라면 양측검정일 경우는 가설을 기각할 수 없을 것이고, 단측검정일 때는 가설을 기각할 수 있기 때문에 어떤 검정을 사용했는지가 중요할 거 같은데 파이썬 코드에 나오는 P-value를 어떻게 인지하고 해석해야하나 궁금증이 생겼습니다.

질문은 아래 2개와 같습니다.

정규성 검정을 하는 과정에서 귀무가설은 '정규분포를 띈다' 대립가설은 ‘정규분포를 띄지 않는다.’ 이며 단측검정이 아닌 양측검정이 진행되는게 맞나요?? => 여기서 단측검정이라고 말씀하셔서 멘붕이 왔습니다. 양측이 맞는건가요 단측이 맞는건가요?? 
그리고 파이썬 코드를 통해 검정을 진행할 경우 pvalue가 예를 들어 0.035값으로 나왔을때, 가설이 기각되지 않으려면 양측검정이나 단측검정 상관없이 5% 유의수준에서 0.05의 값보다 크면 되는건가요??
ShapiroResult(statistic=0.9534759521484375, pvalue=0.0351944079399109)

[@임재우-e9e]

@@statisticsplaybook 귀무가설 자체를 검정통계량이 1이다. 대립가설을 1보다 작다 라고 생각하고 답변해주신 걸 수 있다는 말씀이신걸까요??

[@statisticsplaybook]

보통 양측 검정이 가능한 경우 귀무가설과 일치하는 검정통계량 값을 기준으로 위, 아래로 움직일 수 있습니다. 예를 들어 귀무가설이 mu=10이라면 검정통계량 값은 10보다 큰 경우, 작은 경우 둘 다 귀무가설이 틀리다는 근거가 됩니다. SW의 경우 귀무가설이 맞을때의 검정통계량 값은 1, 귀무가설이 틀리다는 것을 의미하는 검정 통계량의 수치는 한쪽밖에 없고, 1보다 작은 경우. 그래서 단측으로 나오게 됩니다. 도움이 되셨길 바랍니다. 계속 이해가 되시지 않는다면 제 영상 중 통계 검정 영상이 있는데 한번 보시길 추천드립니다. :)

[@jommbug]

영상 잘 봤습니다. 통계 관련해서 에세이를 쓰고 있는 고등학생입니다. 영상을 보고 질문이 생겨서 댓글 남깁니다. 영상에서는 W가 1에 가까워질수록 normal distribution에 가깝다 하였는데 인터넷을 찾아보니 W에 대한 말 보단 p-value 가 알파보다 클때 H0를 고른다고 하더라고요. 그렇다면 p-value 가 H0인지 HA인지 정하는 것이고 만약 H1일때 데이터가 normal distribution인지 확인하는 값이 W 인 것일까요? 아니면 W를 이용하여 p-value를 구하는 것일까요? 감사합니다.

[@statisticsplaybook]

오, 고등학생이시라니 격하게 환영합니다.ㅎㅎ W 를 이용해서 p-value 가 계산되어 나옵니다. 아래 영상 한번 보시길 강력 추천합니다. 유의 확률(p-value) 개념 꽉 잡아드림. :) kzbin.inforodT95gWDrU

[@taemobang4489]

자료 Quarto로 만드신건가유?

[@statisticsplaybook]

Rmd 입니다~!

[@danteneha2058]

미쳤다...... 고맙습니다 ㅋㅋㅋㅋㅋㅋ아신난다

[@봄-j4s]

1. 가장 자주 등장 : (이유) 모든 정규성 체크하는 검정들 중에서 검정력이 제일 높음. 성능이 제일 좋다. 2. 단점 : 너무 민감함

[@봄-j4s]

Q-Q plot이랑 같이 써주는 것이 좋음