A.4.14 Точный тест Фишера (введение в статистику)

#dudvstud #математиканапальцах #войтивайти
Телеграм: t.me/dudvstud
Плейлисты, литература, помощь проекту и прочее: dudvstud.wixsite.com/website
Рассматриваем простой статистический тест, основанный на гипергеометрическом распределении: точный тест Фишера.

[@bogdns]

3 утра. Мы в щи

[@dudvstud9081]

:) Держитесь!

[@yehordemianenko995]

Лично я сталкиваюсь с этим тестом 2 раз и хотелось бы заметить, что использование обычных цыфр вместо букв упростило бы понимание самого смысла

[@traktin4590]

Я первая! :) Спасибо! Я это первый раз слышу. Английский чай, прикольно:)

[@funcoding1071]

Стало любопытно )) Из англоязычной Википедии: "David Salsburg reports that a colleague of Fisher, H. Fairfield Smith, revealed that in the actual experiment the lady succeeded in identifying all eight cups correctly." Перевод: "Дэвид Салсбург сообщает, что коллега Фишера Х. Фэйрфилд Смит показал, что в реальном эксперименте леди удалось правильно определить все восемь чашек."

[@dudvstud9081]

Спасибо. Не знал результата теста. Очень любопытно :)

[@user-rf2ds7cn4l]

Отличная идея закончить введение модуля по вероятности проблематикой статистического вывода на основе простого теста. Отсюда очень хорошая практическая значимость вырисовывается математики что раньше была. Подробная и неспешная связь между мат.аппаратом и тестами статистического вывода просто бесценна, особенно для гуманитариев, которых учат на кнопки жать в excel или spss. (В ролике, наверное, можно было бы обозначить такие понятия как ошибка первого и второго родов и различие между параметрическими и непараметрический тестами (по сути это было в ролике и тот кто знает тот понял, а кто ещё нет, думаю на этом этапе не сильно потеряют=).

[@dudvstud9081]

Спасибо за отзыв! К более глубокому разбору тестов мы вернёмся попозже в соответствующем модуле.

[@alexufimsky7030]

Отличное видео. Я мало что понял, но постараюсь разобраться. Ага, верно, гуманитарии здесь)

[@dudvstud9081]

Спасибо за отзыв. А Вы предыдущие видео смотрели/поняли? Можете спросить, если что-то конкретное не понятно. Постараюсь помочь.

[@alexufimsky7030]

@@dudvstud9081 Предыдущие видео не смотрел, но видимо придется посмотреть, если я действительно намерен разобраться в данной теме хотя бы поверхностно. Меня интересовал именно тест Фишера, так я нашел данное видео.

[@dudvstud9081]

@@alexufimsky7030 спасибо за отзыв! Надеюсь, Вам будет интересно :)

[@cripta]

Хотел бы задать вопрос можно ли с помощью расчета критерия Фишера применять для валидации методики (мол чтоб критерий показывал правильно ли методика разработана, работает ли методика для расчетов иль нет)?

[@dudvstud9081]

Можно, конечно. Как любой метод из статистик. Точный тест Фишера обычно применяется для маленького объема данных. Для больших объемов лучше подходят более сложные критерии, например, t-тест.

[@cripta]

@@dudvstud9081 у меня не большой объем данных до 20 измерений в год выполняются. А расчет необходимо сделать с 10 измерениями одной величины для валидации методики.

[@AlexeyMatushevsky]

Читал где-то что госпожа Бристоль отлично различала эти 2 класса чая

[@dudvstud9081]

Что значит истинный гурман! Спасибо за интересный комментарий!

[@user-rp6rh7nw8i]

То есть суть в том, что чем лучше в результате 1 эксперимента мы получили k (более близкое или менее близкое к n), тем меньше будет PV, а значит тем с меньшей вероятностью мы ошибёмся отконив 0-гипотизу. Я правильно понял?

[@dudvstud9081]

Да, вроде бы так

[@chert6668]

21:37 это же вы описываете применение трёх сигм?

[@dudvstud9081]

Не совсем, но очень-очень близко :)

[@user-bz9hb7yi8j]

введение в статистику было. а где раздел со статистикой? оченно надо !

[@dudvstud9081]

Время еще не пришло :) Чтобы полноценно изучить статистику нужен тервер, для тервера -преобразование Лапласа, для преобразования Лапласа - матан, для матана - линейная алгебра и элементарные функции. Элементарные функции сейчас изучаем, а линейная алгебра будет следующим модулем. Полноценная теория вероятностей и мат. статистика будет где-то к весне 2021, и это будет последний модуль из блока теоретической базы. После статистики уже будет обработка данных.

[@user-bz9hb7yi8j]

@@dudvstud9081 понял, услышал. Спасибо за твои видео, думаю скоро ты станешь супер популярным!)

[@dudvstud9081]

@@user-bz9hb7yi8j спасибо, буду стараться

[@user-il8gv3rl7b]

очень большая просьба, объясните пожалуйста что такое p-value. Никак не могу разобраться. Именно когда идёт речь о непрерывной случ вел. Как это p-value связано с вероятностью получить такие и ещё выраженные отличия.... Везде по-разному объясняют и всё должно быть правдой, но я не могу состыковать. Спасибо огромное.

[@dudvstud9081]

Ну, чтобы понятно было и в полном объеме, то это в двух строчках не опишешь. Будет соответствующий урок со временем. А если кратко, то это вероятность, что какая-то случайная величина превысит некоторое пороговое значение. Например, Вы выполняете статистические тест Стьюдента. Рассчитали среднее своей выборки. С учётом среднеквадратичного отклонения и количества элементов выборки нашли значение t-статистики. Это случайная величина с известным распределением. Берете, например, таблицу и находите пороговое значение для заданного значения p-value (например, для 0.05). Что это значит? Это такой порог, который случайная величина t превысит с вероятностью 0.05. И если у Вас t-статистика этот порог превышает, то Вы отклоняете гипотезу о том, что, что Ваша t-статистика является реализацией случайной величины с заданным распределением. Так как, если оставить это предположение, то произошло то, чтт происходит лишь в 5% случаев.

[@user-il8gv3rl7b]

@@dudvstud9081 1. Простите, но это совсем не поняла: "Ваша t-статистика является реализацией случайной величины с заданным распределением. Так как, если оставить это предположение, то произошло то, что происходит лишь в 5% случаев". Могли бы пожалуйста еще как-то объяснить? 2. Если отклонили нулевую гипотезу, значит отвергаем случайное распределение так как случайностей не обнаружено? 3. В случае с односторонним t критерием. Если наша статистика попала в критическую зону, значит, что при верной нулевой гипотезе получить такое значение - маловероятно, поэтому мы отклоняем нулевую гипотезу? 4. Еще такой вопрос, если мы вот для статистики посчитали её p-value, что оно означает? Почему мы не считаем вероятность как вероятность появления конкретно нашей статистики, а находим вероятность такого или ещё более выраженного отклонения?

[@user-il8gv3rl7b]

@@dudvstud9081 ещё такой вопрос пожалуйста. Когда рассматриваем альтерн гипотезу о неравенстве, то используется двусторонний критерий(в книге Кремера - так), однако в инете нередко встречаю, что в таких ситуациях используют всё же односторонний критерий. как это понять?

[@dudvstud9081]

@@user-il8gv3rl7b если не знаем наверняка, больше или меньше среднее, какого-то значения, то двусторонний. Иначе - односторонний.

[@anzarsh]

15:50 если мы нашу вероятность добавляем к сумме, почему тогда не берем все вероятности, которые меньше либо равны, а только те которые равны?

[@dudvstud9081]

не совсем понял вопрос :) ]Уточните, пожалуйста

[@anzarsh]

@@dudvstud9081 у нас слева и справа в распределении вероятности которые меньше той которую мы получили в тесте, при вычислении pV мы суммируем все те которые меньше и нашу полученную вероятность, почему не берем вероятности которые равны нашей полученной, если распределение симметрично, то будем еще одна вероятность с таким же значением, надеюсь теперь будет понятно)

[@dudvstud9081]

@@anzarsh да, теперь понятно :) Мы берем и «левые», и «правые» вероятности. Все, которые меньше порога. Они все обведены. Порог тут имеется ввиду по вертикальной оси. Берем все «столбики», которые ниже порогового значения.

[@anzarsh]

@@dudvstud9081 кажется я опять не правильно объяснил, например у нас 10 вероятностей, наша с номером 9 и предположим что все вероятности симметричны (т.е. 1 == 10, 2 == 9 и т.д.), тогда мы просуммируем вероятности с номерами 1, 9 и 10 (1 и 10 меньше 9). Вопрос в том почему мы не добавляем в сумму вероятность с номером 2, которая будет равна 9? Т.е. вопрос почему строго меньше? Если и так не понятно, давай пропустим вопрос, спасибо за время)

[@dudvstud9081]

Аааа. Абсолютно корректное с Вашей стороны замечание. Там должно быть условие

[@marlenvox]

Интересно сколько ей чая пришлось выпить для достоверности эксперимента)))

[@dudvstud9081]

Мне это не известно, но не исключено, что кто-то это зафиксировал :)

[@user-lc1ph5jg5k]

Что-то ты какой-то грустный на превьюшке

[@dudvstud9081]

Притворяюсь серьезным и сосредоточенным :)