Самая ПОЛНАЯ и ПОНЯТНАЯ лекция по A/B тестам (метрики, гипотезы, статистика и инструменты)

[@alinasmyrnova9193]

Пожалуйста запиши видео как ты проводишь АБ тест, чтобы было понятнее как применяется формула выборки и вообще весь процесс. Пожалуйста пожалуйста пожалуйста

[@Anton-pk5et]

С твоего канала начался мой путь в аналитике 1,5 года назад. Хоть я уже и работаю в аналитике но видосы все равно смотрю, они топ. Спасибо за контент)

[@art_alf-b9b]

как успешно?

[@VadimKvachev]

Второй лайк за понятное объяснение формулы расчета размера выборки. Обычно то, что гуглится, в большинстве случаев похоже скорее на формулу вызова дьявола, чем на то, чем будешь пользоваться в работе

[@Noukash]

Да - при этом гуглятся РАЗНЫЕ формулы - это вообще подстава - если не знаешь что искать то найдешь несколько разных формул)). Я постарался простыми словами объяснить что внутри к чему. Рад, что полезно!

[@CECTPAXAOC]

спасибо!!! реально не зря потратила 47 минут) прям более лаконичного и простого объяснения, как это происходит в реальной работе, не встречала)

[@Noukash]

Супер! Я очень рад, что видео полезно! Чем сложнее топик, тем сложнее объяснить его "просто" и я рад, что у меня получилось!

[@Lukas-r3o]

Круто! Самое понятное и доходчивое объяснение всего процесса, от и до, не перегруженное теорией и формулами, грамотно разбавленное примерами и аналогиями! Спасибо большое

[@Noukash]

Спасибо большое за комментарий! Я старался сделать понятно, объяснить все простыми словами и одновременно достаточно глубоко чтобы было понимание, что откуда берется. Рад, что получилось!

[@ЖанеттаМакарова-е5в]

Спасибо Андрей! Очень подробно и содержательно. Полиночке, особое спасибо за прекрасное оформление видео. Ребята видно, что у Вас жизнь налаживается во всех отношениях, особенно в рабочих моментах. Профи уровень растёт и это здорово. Так держать! Удачи!

[@Noukash]

Спасибо большое за комментарий! Полине передал! Жизнь кипит :)) Работаем! Очень приятная обратная связь - еще раз спасибо

[@caseygold1283]

Андрей, спасибо большое за обучающие видосы ❤ такая информация в видео формате на вес золота))

[@techbent]

Крутая тема, спасибо. Еще не прсмотрел, но начало нравится

[@ДмитрийЛебедев-д5ж]

Про центральную предельную теорему хотелось бы подробнее. Видео супер

[@AnatoliiGrytsiuk]

Согласен, пример сложен к восприятию

[@VadimKvachev]

Лайк сразу за тему, посмотрю чуть позже

[@to_love2005]

Поступлю так же

[@АлександрСафонкин-е5ь]

О! Спасибо, Андрей! Это супер полезный гайд!)

[@иворбул]

Спасибо за видео! Очень внятное и понятное объяснение! Красава!

[@РустемМатиев]

Боже, первый человек, который нормально написал формулу размера выборки и объяснил ее, везде какая-то жесть написана или вообще тупо ссылка на калькулятор Да и в целом офигенный видос, который объясняет все адекватно по пунктам, спасибо огромное!

[@Noukash]

Спасибо! Рад что зашло!

[@DandyMsk]

Большое спасибо!!! Кратко и по делу 👍

[@Markerus]

Балдеж видос! Скину команде чтобы тоже в теме были))

[@Noukash]

Супер! Если будут вопросы - пишите!

[@moriohgoose]

Спасибо за такой качественный видос! Только начинаю вкатываться в аб-тестирование, ваш ролик очень помог 🤌

[@Tulsky_pryanik_sasha]

Спасибо! Стало яснее

[@Lucas_Gr666]

Поддержу других комментаторов - огромное спасибо!) Прочитал с десяток статей и посмотрел еще больше видео по аб-тестам, но только тут наконец-то есть простые и короткие формулы с пояснениями, а не выжимки из учебников по матану (а в разных источниках еще и разные формулы 😂), отдельная благодарность за пример про MDE, в последней статье которую читал, рекомендовали Монте-Карло всегда использовать 😅 Лайк поставил, видео в закладки сохранил, чувствую еще не раз буду пересматривать (при очередном запуске аб-теста) ❤

[@Noukash]

Спасибо большое за комментарий! Я так рад, что видео полезно и все понятно. Супер!

[@mikhailkaravaev5668]

Классное видео, спасибо. От себя добавлю: было бы классно, если бы использовалась общепринятая терминология: доп.метрики -- прокси-метрики, контр-метрики -- заграждающие метрики (guardrail metrics)

[@ОлегТюляев-р3ф]

Андрей, спасибо за хорошее видео! Получился идеальный дайджест для погружения в тему 🤝

[@Иринакайнова-э2г]

Актуальная тема, всегда актуальная

[@ДамирМагжанов-ш5ы]

О, круто. А то я написал в резюме, что уже не только исполнял, но и дизайнил это.😂

[@kris_the_analyst]

невозможно "исполнять" АВ тест без дизайна)

[@VadimKvachev]

Интересно ещё про историю с ratio-метриками, как их преобразовывать, может быть, тянет на отдельное видео

[@HoyHame7]

Могу ответить одним словом: линеаризация🙃На хабре лежит парочка интересных статей, как с такими метриками работать

[@marines8725]

спасибо!

[@КаролинаКокашинская]

Спасибо большое!

[@PythonMonster7]

На 19:14 написано b - вероятность обнаружения эффекта если он существует. На самом деле вероятность обнаружения эффекта если он существует - это мощность и она 1-b. b - вероятность ошибки 2 рода, т.е. не увидеть разницы когда она есть.

[@Noukash]

Да - я говорил про статистическую мощность - бета величина обратная мощности. Очепятка

[@Tot_samyi_ucishka]

Жаль не было примеров с каким-то датасетом, чтобы на его примере рассчитать

[@nikitaaksenov569]

Большое спасибо за видео! На русском ютубе на удивление огромная куча воды по Аналитике данных. Возможно, стоит сделать обновленный гайд по всем прикладным штукам и реальным кейсам в работе аналитика (разбора реальных задач почти нет)

[@АннаПупкина-ю1в]

Спасибо, Андрей! А можно разобрать какое-нибудь тестовое задание, которое высылают в ответ на резюме при приёме на работу?

[@rurncndsidsi]

Андрей, спасибо за очень крутой гайд! У меня возникли сомнения по поводу формулы расчета выборки. Я сейчас прохожу курс по А/В тестированию, и там дают такую же формулу оценки размера одной группы, но используют не std^2, a 2*std^2, так как мы должны брать в учёт стандартное отклонение обеих групп std_x^2 + std_y^2 = 2*std^2, так как на исторических данных стандартные отклонения контрольной и тестовой групп равны. На синтетических данных А/А и А/В тесты показывают, что с 2*std^2 ошибки первого и второго рода контролируются на заданном уровне.

[@Noukash]

Я бы сказал зависит от величины и известна ли или нужно аппроксимировать дисперсию. Есть способы вроде CUPED чтобы наоборот снижать размер выборки за счет исторических данных и в т.ч того чтобы убрать шум из результатов и снизить дисперсию результатов

[@condemime1]

Спс братишка, завтра гляну. Будем внедрять, а то аж стыдно как-то.

[@Noukash]

Супер супер супер - пиши если будут вопросы. Тема сложная, но базу освоить нетрудно

[@lodosmor]

По наполнению видео очень похоже на бесплатный курс по AB-тестам одной небезызвестной компании, но в то же время - это условная шпаргалка. Обязательно буду пересматривать перед собеседованиями. Спасибо большое за такой качественный контент❤ Также у меня есть вопрос: Насколько вообще целесообразно учить формулы матстата, по типу дисперсии, p-value, доверительных интервалов и т.д для различных тестов? Часто ли это спрашивают на собеседованиях? В моем понимании это не самая полезная вещь, потому что, если ты знаешь, как это работает, тебе не составит труда это загуглить, и получится даже надежнее, чем когда ты держишь все это в голове

[@Noukash]

Главное понимать смысл формул, почему получается их применять и какие есть ограничения в тестировании. Знать все формулы 1 в 1 не обязательно и невозможно

[@olyapopova]

Привет, спасибо за крутой разбор! Все понравилось, единственное для меня - сложно было осознать до конца все используемые в видео формулы, как будто стоило им уделить чуууть больше времени и объяснить чуть проще) Для меня как для практикующего продакта не совсем ясно, как и для чего их использовать. Самые проблемные - формулы расчет выборки и оценка p-value. Такое ощущение, что на практике можно отбросить формулы и пользоваться калькуляторами Evan Miller и Neil Patel, я верно тебя поняла?)) А порядок и логика в голове сложились такие: 1. Формируем гипотезу и готовим варианты. Убеждаемся, что нулевая гипотеза верна. 2. Определяем размер выборки через калькулятор на основе гипотезы и уровня доверия к результату. 3. Запускаем тест и даем ему пройти полностью. 4. Убеждаемся, что p-value нас устраивает (до 3%). Больше всего вопросов тут и совсем не понятно, как его посчитать более автоматически. 5. Рассчитываем доверительный интервал через калькулятор. Есть ли статистически значимая разница? 6. Ищем дополнительные инсайты. 7. Принимаем решения об изменениях в продукте.

[@Noukash]

Привет! Рад, что видео полезно! Да - я хотел уместить все самое важное в 40 минут поэтому конкретным формулам досталось меньше внимания) В общем и целом можно пользоваться калькуляторами - единственное пара моментов 1. То что нулевая гипотеза верна это наше предположение которое мы можем опровергнуть или не опровергнуть в результате теста 4. Evan miller calculator в помощь также А в остальном +- по шагам все правильно - обязательно уделить внимания достаточно метрикам - какие метрики будете мерить и какие важны

[@Георгий-ч2н9щ]

Спасибо за видео. Я пытаюсь самообучиться аналитике немного и конечно больше половины видео для меня совершенно не понятно. Наверное, оно для тех кто уже в аналитике так или иначе.

[@ivanrubnenkov919]

Привет, про сэмпл сайз можно пример плз. Обычно бутстрепом на АА размер можно эффективно оценить

[@mystery-v8y]

теория - это конечно хорошо, но если бы эти 40 минут ты разбирал и комментировал практический пример - это было бы куда более полезно. в любом случае благодарю!

[@BoQbL1k]

Спасибо, доверительный интервал ценности этого видео 100%! Скажи пожалуйста, чтобы юзать ремоут конфиг его же все равно надо загрузить в новую версию аппы и получается мы все равно выкатываем новую версию перед АВ? Или если не обновляем аппу, то там какие-то ограничения для конфига, типо можно поменять текст и картинку на пейволе, но дизайн пейвола и цены нельзя. Потому что я разрабам говорил что новая версия не нужна, но они говорят что без нее не обойтись)

[@kobatrader7375]

Какме курсы можешь посоветовать по AB тесты?

[@ИЗИ-я]

Как тебе идея для видео про pet-проекты для аналитика, на просторах интернета нет особо информации, а темка то интересная и полезная. Понятное дело для разработчиков, они пишут софт (фронт/бэк). А что в этой теме можно сделать аналитику?

[@VadimKvachev]

@@ИЗИ-я прогноз погоды! (Не шутка). Но по-любому придется осваивать фронт и немного бэк, если хочешь упаковать это в виде сайтика

[@Noukash]

Идея хорошая, но мне лень самому делать примеры для видео - будет побольше времени сделаю!

[@ИЗИ-я]

@@Noukash блинб, лень ужасная штука, у самого такая болезнь (

[@kobatrader7375]

Какие книги можете посоветовать по аналитике данных, бизнес-аналитике, продуктовой аналитике, статистике, АБ - тестированию, визуализации, метрикам для аналитиков, принимать решение на основе аналитики?

[@MeisterVolk]

Здравствуйте, Андрей! Спасибо за видео. Хочу устроиться в IT, чтобы получить знания и опыт и затем открыть свой бизнес (не обязательно именно в IT сфере). Для этого выбрал профессию аналитика, подумал, что владение данными это основа бизнеса. Но аналитиков много: бизнес-аналитик, системный аналитик, data scientist, продуктовый аналитик, маркетинговый и пр. Вы не подскажете, что актуальнее всего было бы для моей цели?

[@shutka80]

Выбирайте стезю продуктового аналитика. Это самые близкие к реальному бизнесу ребята. Научитесь считать рентабельность, разные полезные метрики, находить инсайты, точки для роста, слабые места, четко формулировать и ставить цели для своего будущего бизнеса. Если бизнес будет в высоконкурентной сфере, то будет не лишним освоить маркетинговую аналитику - это про эффективное взаимодействие с аудиторией, как на нее влиять (ARPU, ARPPU, CPC...). Бизнес аналитик должен знать BPNM - его основная роль как у компилятора в языке программирования: переводить запрос бизнес заказчика на язык понятный программистам. Бизнес аналитик должен уметь качественно вести диалог как с заказчиком так и с бэкендом. Тут меньше всего требуется непосредственное владение разными техническими инструментами, но необходимо хорошее понимание процессов разработки и владение терминологией. Системный аналитик, напротив, должен хорошо знать железо. Это человек, который оценивает текущую инфраструктуру компании и дает рекомендации с заделом на будущее по ее развитию. Тут надо шарить про инновации в железе и сервисах, разницу между колоночными и строчными БД ну и тд. Дата сайнтист - это про обучение моделей. В реальном бизнесе на себя вряд ли оправдает отношение потраченные ресурсы/выхлоп. По типам характера я делю аналитиков так (все очень условно): продуктовый - холерик с общительностью выше среднего маркетинговый - холерик с общительностью выше среднего бизнес - сангвиник с максимальной общительностью системный - флегматик с нормальной общительностью датасайнтист - флегматик/ меланхолик с УСИДЧИВОСТЬЮ, общитительность ниже среднего

[@MeisterVolk]

@@shutka80 спасибо огромное! Супер-полезный комментарий

[@M0javeCourer]

Почему вы такой грамотный и мотивированный на результат с женой.Я бы первые 40 к долларов заработал и уволился бездельничать.

[@Noukash]

Очень люблю учится и применять знания :) Ну и сейчас я живу в дорогом месте - тут 40к долларов это не так много

[@M0javeCourer]

@@Noukash это здорово. Я даже как сис админ, слабо понимаю терминологию в видео. Но пока подписался, мотивируюсь по чуть чуть.

[@ОльгаШомина-ч9с]

глулый вопрос: у меня есть группа клиентов, у них конверсия в покупку 6%. как определить дисперсию этой величины?

[@Noukash]

Загугли про дисперсию распределения Бернулли - p(1-p) = 0.06*0.94

[@unicoxr5tj417]

автор, а это универсально для РФ СНГ и западного ИТ?

[@Noukash]

Это универсально для любого IT

[@sodcio]

Меня часто спрашивают, знаю ли я AB тесты

[@detr1st983]

Как ты провёл свой первый A/B тест?

[@ansine1777]

Интересное видео, но возник тупой вопрос: А зачем нужны отдельные инструменты для a\b тестов, когда есть Python и R? Я не аналитик данных, но статистический анализ провожу. Все приведенные тесты я могу проводить в R. Единственная фича отдельных инструментов для a\b тестов, как я понял, в том, что бы результаты тестов сразу подгрузить в продукт.

[@Noukash]

Нужно технически как то сплитовать пользователей - показывать им разные варианты, удаленно менять параметры, запускать и останавливать тест. Я про это и говорю, что статистический анализ можно сделать ручками, но нужна платформа для управления самим тестом)

[@Lucas_Gr666]

Добавлю еще, что это может быть нужно для 1) продакт менеджеров и маркетологов - им тоже может быть нужно тестить несложные гипотезы (условный цвет кнопок) + инструментарий для принятия данных когда не нужно разбираться с формулами или кодом на питоне (это не всегда хорошо, и лучше проводить все с аналитиком, но бывает по разному) 2) Если нужно запускать и проводить много однотипных аб-тестов - это банально быстрее и удобнее 3) Так легче поддерживать консистентность тестов - всегда будет применен один подход к тесту 4) Получение данных для рассвета метрик (на примере вариокуба из Яндекса) - не все данные можно получить в сыром виде, а такое решение может быстро обсчитать нужную метрику Ну и то, что сказал Андрей - инструмент как сплитовалка, которая будет всегда корректно делить трафик на группы. Но у них много ограничений, естественно, поэтому большие компании обычно имеют либо свой инструмент, либо самоличные системы.

[@ЕвгенийДенисенко-я2и]

Удивительное рядом, но оно запрещено)))

[@claudian6257]

сложнооооо:(( эти формулы меня пугают

[@stnjl2216]

как успехи с meta ?

[@Noukash]

Жду последнего этапа!

[@VadimKvachev]

@@Noukash держим кулачки!

[@ВикторБерезкин-ц4э]

Непонятно про ЦПТ

[@ШашлычникСаня]

ты это от себя говоришь? или продюсер))

[@_AbUser]

я через 5 минут уже спать захотел.. Можно сразу по делу, а ползать в каких то частных случаях из ниоткуда в никуда.. ? 5й класс учебника по физике в помощь.. Дано, найти, решение... и не придется по 15 минут языком воду толочь.. А то получается фиг знает что делаем, фиг знает какими методами, и фиг знает что получаем на выходе... человек сидит с этими метриками как дурачок с фантиками играется и сам не знает чего вообще от них хочет...

[@Noukash]

Тяжело включать голову - бывает

[@arinawin8964]

что то на 17 мин. я уже приуныла. как то не очень понятно - чувствуется что на практике не распробовано, просто теория из сети озвученная голосом. понятно одно - что на нальном этапе все это не имеет смысла

[@Noukash]

Это все теория наложенная на практический опыт) Я АБ тестов за свою карьеру запускал и оценивал сотни. Если вам непонятно - можно пересмотреть несколько раз или попозже на свежую голову - ну или предметно задать вопрос)

[@stnjl2216]

как успехи с meta ?