Лекция 6. Проверка статистических гипотез (процедуры Python)

compscicenter.ru/
Проверка статистических гипотез (процедуры Python).
Критерий Шапиро-Уилка. Критерий Манна-Уитни-Вилкоксона. t-критерий Стъюдента. Критерий Флигнера-Килина.
Независимые и парные выборки. Критерий хи-квадрат. Критерий Пирсона.
Лекция №6 в курсе "Анализ данных на Python в примерах и задачах. Часть 1" (весна 2018).
Преподаватель курса: Вадим Леонардович Аббакумов

[@rittervsp]

Прекрасные лекции, спасибо большое!

[@pavelsch1984]

О, как хорошо, что я наткнулся на Ваши лекции! Теперь изучение пайтона для анализа данных пойдет бодрее)) Для обработки пропущенных данных я бы применял предварительную фильтрацию по notna, наверное)

[@kedr123]

Спасибо за лекции. Просьба скинуть ссылки на джупитер-ноутбуки с лекциями.

[@user-eg1vy8pk1v]

А где скачать ноутбук ?

[@superspectrum625]

а где можно найти ноутбук?

[@tka400]

Если в задаче на цветовое восприятие (28:49) проверить гипотезу о нормальности, то действительно распределения нормальны Шапиро Уилка - тест на нормальность распределения p-value 0.7196102142333984 p-value 0.8271005749702454

[@Vadim_Abbakumov]

Совершенно верно, но даже если оба раза гипотеза нормальности была бы отвергнута, я все равно применял бы критерий Стьюдента, потому что отклонения от нормальности несущественные. Пожалуй надо в новых курсах говорить об этом подробнее...

[@FilSerge]

@@Vadim_Abbakumov А как можно качественно оценить отклонение от нормальности? Тем же p-value по Шапиро? Спасибо вам за прекрасные лекции (вижу как вы с каждой иттерацией повышаете их уровень)! Интересно видеть, что вы ещё и на обратную связь реагируете.

[@Vadim_Abbakumov]

@@FilSerge p-value количественная оценка, число. Качественную картину дают P-P графики и Q-Q графики (P-P plots, Q-Q plots)

[@FilSerge]

@@Vadim_Abbakumov О, большое вам спасибо за ответ. В прошлый раз не удалось до такого догуглиться. Может в этот раз получится предметнее. Ещё раз спасибо!

[@dazdess]

Можно заполнить данные средними или медианными значениями. Тогда и пропускать там нечего.

[@user-nw9dx4fj9s]

Здравствуйте! В примере с продолжительностью жизни аристократов и королей в лекции приняли решение о нормальности распределения основываясь на гистограммы, я попробовал Шапиро и результат показал p-значение на много меньше альфы, попробовал прологарифмировать данные, и все равно pvalue=1.896729783092047e-32, я кажется что то не так понимаю, в чем моя ошибка скажите пожалуйста.

[@Vadim_Abbakumov]

В лекции приняли решение о несущественности отклонения распределения от нормального. Требование нормальности распределения на практике заменено на требование отсутствия существенных отклонений.

[@user-nw9dx4fj9s]

@@Vadim_Abbakumov понял, спасибо!

[@Vadim_Abbakumov]

@@user-ee9vd7jj2w Гуглите запрос Student test for nonnormal distribution. Или Robustness of t-test

[@user-ns3gp1vp2v]

Статистические критерии в Excel на arhiuch.ru