10 вопросов про A/B-тесты | Часть 2 | Валерий Бабушкин | karpov.courses

Симулятор A/B-тестов: bit.ly/3AQf0bw
Первая часть: • 10 вопросов про A/B-те...
Всегда ли для проверки гипотезы необходимо использовать A/B-тест? Можно ли сравнивать попарно несколько разных категорий пользователей? Какие есть подходы к повышению чувствительности A/B-тестов?
На эти и ещё более узконаправленные вопросы, которые вы задавали Валерию Бабушкину, ответим сегодня во второй части «10 вопросов»

[@wimp825]

Ну что за манера не озвучивать вопросы, показали на экране и всё - тем более видос разговорный, люди не сидят перед экраном не отрываясь любуясь лицом Валеры. Просьба в следующих видосах вопросы озвучивать

[@konstantins2158]

Почему это не сидят?! Я вот и сидел, и в монитор смотрел и даже буковы читалъ

[@user-yf9wg7cn4f]

Все появления Валеры должны сопровождаться таким музыкальным вступлением

[@popular_anime_hater]

Спасибо большое, крутое видео, есть над чем подумать. Мне как начинающему спецу все тонкости АБ тестирования еще не ясны

[@BoQbL1k]

Валера всегда говорит с каким то Витей, правда Вить? )

[@BoQbL1k]

Круто, как обычно! Еще бы хотелось на эти вопросы ответ узнать: Всегда говорят что нужно учесть сезонность, но она же действует на А и В аудиторию, тогда зачем? Может ли негативный эффект от А/В теста проявиться не сразу (2-4 недели) если приняли не верное или верное решение?

[@ValeriiBabushkin]

Допустим А лучше Б в будние дни, но Б лучше А в выходные Если провести только в выходные тест он выдаст результаты отличные от проведенного только в будние

[@BoQbL1k]

@@ValeriiBabushkin Спасибо! получается это больше проблема сплит системы? ведь если у нас пользователи хорошо стратифицированы, то и сезонность не должна влиять

[@ValeriiBabushkin]

@@BoQbL1k нет, это не проблема сплит системы, это вопрос репрезентативности. Если проводите а/б тест в специфичный период то и его результаты можно переносить только на специфичный период. Например а/б тест связанный с мороженым зимой и летом может дать разные результаты

[@BoQbL1k]

Если правильно понял, когда выборки а/б будут репрезентативны, тогда и сезонность не должна влиять? Но а за репрезентативность у нас ведь может сплит система отвечать, иначе зачем она вообще тогда )

[@ValeriiBabushkin]

@@BoQbL1k сплит система отвечает за то, что две выборки репрезентативны относительно друг друга и то какую часть от общего пула юзера они представляют. За время она не отвечает

[@2korzhik]

На восьмом вопросе Валерий видимо забыл про permutation test и навалил кринжа про матчинг, в остальном приемлемо.

[@ValeriiBabushkin]

Как поможет permutation тест в данном случае ? Советую ознакомиться с выступлением Gary King, "Why Propensity Scores Should Not Be Used for Matching" kzbin.info/www/bejne/qHPZZGymgJace9U В этом выступлении есть очень интересный слайд, в котором утверждается что если мы проводим Fully Blocked А/В эксперимент, то это снижает стандартную ошибку оценки эффекта на 600%

[@2korzhik]

@@ValeriiBabushkin Валерий, большое спасибо за ссылку, обязательно ознакомлюсь. Прошу прощения за резкий комментарий, я пытался шутить :) Безусловно снижение дисперсии это наверное самое лучшее решение этой проблемы, а permutation test выглядит как вариант решения поставленного вопроса когда наблюдений действительно очень мало.

[@user-ny5dc7dw6k]

​@@2korzhik Папка домой вернулся, и ты сразу заднюю дал. Чепуха!

[@rioache1081]

К третьему вопросу, читал, что в случае А/А/Б теста (если в тесте несколько тестовых групп), пропорционально больший размер контрольной группы может дать большую мощность, чем в случае равных размеров групп research-repository.st-andrews.ac.uk/bitstream/handle/10023/26073/Neuh_user_2021_Unequal_sample_sizes_Ethology_AAM.pdf