A/B ТЕСТИРОВАНИЕ: Почему никто не делает его правильно?

A/B Тестирование - что это? Все хотя бы отдалено про него слышали. Это один из основных инструментов маркетолога или продуктового аналитика. Любой digital проект, веб сервис, it продукт рано или поздно сталкивается с АB тестами. Обычно разбираться с ними задача продуктового аналитика или веб аналитика, ну или на крайний случай - маркетолога. Но знать о них должны все, кто работает в IT сфере.
Казалось бы, все просто: есть 2 варианта и из них выбираешь лучший. Но, в любом аб тесте куча подводных камней и проблем. Почему это так сложно? Как сделать ab тестирование правильно? Каким должен быть АБ тест чтобы на его результаты можно было полагаться?
В коротком видео, я рассказываю базово:
-Что такое A/B тестирование и зачем оно нужно?
-Что такое статистическая значимость на простом примере и почему выборка так важна.
-Какие бывают проблемы с А/Б тестами там, где мы их не ждем.
Любому в области IT/Digital - обязательно к просмотру!
------------------------------------------------------------
00:00 - Важность A/B тестирования
00:26 - Зачем оно нужно?
02:16 - Что такое АБ. С примерами.
05:06 - Статистическая значимость. Что это такое? Как считается?
08:21 - Достаточная выборка. Какая она? Зачем нужна?
09:45 - Пример частой ошибки в AB тесте.
11:18 - Можно-ли быть уверенным в АБ тесте?
11:58 - Я/МЫ - A/B тестирование
------------------------------------------------------------
Меня зовут Андрей - я работаю продуктовым аналитиком в IT стартапе и на этом канале (Andrey Novikov) я рассказываю про IT, стартапы и карьеру. Будут разборы профессий, советы, истории. Подписывайтесь и оставляйте комментарии. Я всегда на них отвечаю.
Instagram: / noukash

[@Noukash]

Под этим комментарием можно задавать вопросы, если что-то осталось неясным :) Все разъясню!

[@annagorobtsova1636]

а как это с точки зрения пользователей делается - случайным пользователям одновременно с другими случайными пользователями показываются разные версии продукта? то есть, например, один пользователь с двух устройств может увидеть разные версии?

[@user-rl5it5re5m]

Поделитесь, пожалуйста, хорошими сайтами-калькуляторами!

[@traktin4590]

Сайт калькулятор в студию плиз:)

[@Noukash]

@@annagorobtsova1636 Да, именно так. Пользователи случайно делятся на 2 группы и им показывается 2 варианта. Потом сравниваются метрики с двух вариантов. Могут делить по пользователям (тогда на всех устройствах будет одно и тоже), а могут просто по устройствам. Так что вполне возможна ситуация, когда на одном телефоне, вы видите одну версию сайта, а на другом - другую.

[@Noukash]

​@@traktin4590 Вот очень удобный калькулятор, которым я пользуюсь. Простая, математически верная тулза. Для расчета выборки Sample Size Calculator, для расчета значимости Chi Squared - www.evanmiller.org/ab-testing/ . Я в работе не полагаюсь на эти инструменты потому что проще самому рассчитывать с собственными настройками и особенностями, но все валидно - пользоваться можно!

[@pilloftruth3837]

Андрей! Хочу сказать спасибо! Ты лучший ❤

[@traktin4590]

Я/МЫ - АБ тестирование:))) 10 баллов:)

[@user-wh3sb2td8d]

Видео - огонь 🔥🔝. И канал классный! Успехов в развитии канала 🚀

[@shamil4837]

Круто, все доступно объяснил. Пока думаю над предложениями по видео, поэтому просто желаю успехов:)

[@Noukash]

Спасибо большое! Сложная достаточно тема, хотелось бы конечно поговорить про нее побольше, но тайминг ограничен. Если будут предложения по темам, формату, буду очень рад!

[@liveworkdie]

Хорошее видео. Достаточно понятно и без ухода в глубину про p-value, ошибки первого рода и т.д. Любопытно. Вот проводим мы A/B-тест, хотим понять повлияло ли это изменение на что-то, но часть пользователей попало в обе группы (и A, и B). Допустим около 5%. Нужно ли их исключать из исследования? Мне почему-то хочется их взять и исключить

[@user-pk8rs9de5y]

У тебя очень классная подача и хорошая речь! Спасибо за видео)

[@Noukash]

Спасибо большое за комментарий! Очень приятно :)

[@deniskolesnikov3697]

Про голодного китайца просто отлично.. эффект бабочки в действии

[@user-gl6ri8kb2q]

И в удовольствие посмотреть, и очень полезно! спасибо

[@Graettas_mama_ua]

К слову, вся эта инфа очень и очень поможет не только программистам. Таргетологам, маркетологам и дизайнерам тоже очень полезно. Спасибо, все вполне логично и понятно

[@faizulla5838]

особенно тарологам🤣🤣🤣

[@Graettas_mama_ua]

@@faizulla5838 Таргетологам. Про тарологию я вроде ничего не написала, таролог занимается в другой сфере деятельности вообще

[@kseniab8187]

Очень информативно, спасибо за видео!

[@Noukash]

Спасибо вам за комментарии!)

[@dimitryshish251]

Подписка после просмотра второго видео! Подача великолепна, спасибо!

[@themichael8767]

Спасибо Вам большое 🤍

[@lissalis2129]

Наконец то до меня дошло=) максимально понятно, спасибо)

[@alexandroshwartovsky7183]

очень интересно, о сложных вещах доступным языком.

[@sergeyrs6431]

Теория понятна. Сложность с практическими рассчетами... Тут маркетологи могут помочь с опредением репрезентативной выборки и статистической значимости.

[@Econom125]

Спасибо, плнятно объяснено.

[@webypanda2861]

посмотрела и вариант B - тоже хорош!

[@annagorobtsova1636]

Видео супер, очень понятно объяснено! А вы в работе проводите A/B тестирование?

[@Noukash]

Конечно! Постоянно! Это один из основных инструментов развития IT продуктов и сфера ответственности продуктового аналитика.

[@user-rw3vq9tv5j]

спасибо, каеф)

[@Rubin_91]

Качественное исследование в помощь :)

[@denisbaranoff]

Добавить бы про множественное тестирование, бонферрони и тд...

[@vsh9394]

Конечно же пицца!

[@user-rh4xc3ug5r]

Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.

[@watercolor_olyabird893]

Нужно считать, для какой-го теста дня хватит, а для какого-то и месяца мало Все зависит от количества экземпляров в выборки и статистической мощности для получения нужного критерия значимости И так же зная, что мощность должна быть более 80%, то проведя ее анализ поймем какая должна быть выборка, а зная сколько у нас в день наблюдений, можно примерно рассчитать длительность тестирования. Анализ мощности может использоваться для оценки минимального размера выборки, необходимого для эксперимента, с учетом желаемого уровня значимости, размера эффекта и статистической мощности.

[@batvinov]

Привет! Поделись ссылками на калькуляторы. Так как формулы очень сложно оседают в голове)

[@Noukash]

Вот отличный калькулятор выборки и результатов тестов www.evanmiller.org/ab-testing/

[@user-sh9gk4sb8f]

Решил поменять профессию выбрал аналитика пр. Посмотрел это видео не х.ера не понял но очень интересно, правильно ли я выбрал профессию )

[@leoleo5686]

Я юрист,учусь сейчас на аналитика Но видео мне понятно

[@user-rl5it5re5m]

Я читал, что это очень активно используется на Booking, что постоянно показывают разным пользователям разные варианты сайта

[@traktin4590]

На самом деле это жопа, мы как то с сотрудником сидели в разных месиах и по телефону выбирали гостиницу, и вот это "нажми эту кнопку"- ""где??"- "да вот же она!!- да нету у меня! И так полчаса, пока скриншоты не сверили свои.

[@Noukash]

Да, так и есть! Это эволюционный процесс может длится бесконечно.

[@Noukash]

@@traktin4590 Можно бесконечно искать маленькую кнопку на кривом интерфейсе, особенно если ее там нет! :)

[@crazy-man]

вот именно разницы большой нету одновременно тестировать или последовательно

[@user-jm5or1dm7s]

Андрей, вам очень идет такая прическа! 😻 Видео содержательно классное, но мне аж пришлось его выключить и оставить только звук, чтобы перестать залипать на волосы 🙈

[@Noukash]

Ха! Это забавно потому что я считаю это своей самой неудачной прической. Спасибо за комментарий и комплимент

[@bonelena2007]

А можно ссылку на онлайн-калькулятор получить?

[@Noukash]

А легко! И расчет выборки (Sample Size Calculator), и расчет результатов теста! (Chi-Squared Test) www.evanmiller.org/ab-testing/

[@sheinpavel4694]

@@Noukash Почему именно хи-квадрат, а не какой-то другой? я джун, если что.

[@web.dragon]

Бро, совет: если ты близко в кадре, то не маши руками так высоко и ярко (лучше вообще так не делать, мешаешь фокусировке и "отгоняешь" нас ими), используй дальний кадр и будет лучше, но частоту и амплитуду жестов уменьши пожалуйста будет лучше смотреться, так как контентная часть огонь, визуальная подача так себе (описал выше)

[@eugenefive6400]

Как математики от Бога почти сломали Уолл стрит... Крутая книга.

[@FeelUs]

Хватит махать руками у меня перед лицом😅

[@user-fy3ie1uv8z]

так кто должен делать этот анализ: дизайнер, разработчик или тестировщик?

[@Noukash]

Аналитик)

[@DennissSpiridonov]

французский фильм Пьер Решар,....Рассеянный фильм (1970)

[@vsh9394]

Если их никто не умеет составлять то ктто же и х исползуетт...?

[@user-iq2uj6nh2g]

Учиться, учиться и ещё раз учиться ;)

[@JamesSmith-vg8df]

Про кнопку покупки все понятно, не понятно как они могли делать одновременно А В тест а не последовательно

[@dariasamoilova7853]

Всё, конечно, хорошо, но как перестать смеяться после слова "ситвация"?))

[@dmitriykalinin2427]

Красавчик. Может попробуй подстричься? Возможно это изменит имидж и увеличит отдачу.

[@Noukash]

Спасибо, я подстригся!

[@mikassmith6552]

1:43 говоришь нельзя, а это по сути когортный анализ. Продактами еще как используется в ит

[@user-rs9eg8uo4r]

Используется, но не для выкатки нового функционала/ изменений текущего, для этого нужны аб тесты. Когортный анализ используется для отслеживания поведения разных групп пользователей/пользователей, пришедших из разных рекламных кампаний и тд

[@Trepetsky]

Хм, странное распределение, уж больно оно нормально.

[@Toto16_82]

За два года ни одной штуки про два стула?

[@ilyazakharau]

слишком эмоциональный.

[@Noukash]

Абсолютно точно подвластно) Важен, но некритичен

[@Alh45011]

Слишком эмоционирует. Было бы полезно принять перед записью успокоительное.

[@mariadawnwork9387]

А просто рассказать как нужно делать можно - без философии?

[@DevelopAndroidIos]

Чувак подлечи кожу , не могу смотреть ) ну или пока аллергия снимай голос за кадром ,показывай что то на экране ))) без обид. Сижу ем в китайке и что то решил глянуть и блин ,вроде интересно , но аллергия

[@user-qn2eg8rc4p]

Чувак, подлечи своё мышление, противно читать, зашоренный взгляд.

[@stasonmuzon]

Незнайка это ты 😂

[@themoonrock7756]

не понял про голодного китайца который повлияет на то, пойдём мы гулять в парк или нет..

[@Noukash]

Одна из теорий возникновения короновируса, что он возник в результате того, что человек съел летучую мышь зараженную вирусом.

[@SilverOrlov]

@@Noukash Бля, Я думал ты про старый фильм, где испарение воды готовящейся еды азиата в пар, через "эффект бабочки", дошло до проливного дождя в парке в Штатах... а оно вон как все проще было.

[@Noukash]

@@SilverOrlov Ох как сложно :) Да! все проще

[@faizulla5838]

какая хрень.... бла бла .... а тэст как делать???

[@Kovalchuk69]

безумная жестикуляция) ты Дерижёр в душе?)

[@theswedishrhapsody1055]

це якась хуйня - мені це нагадує роботу не тустувальника а БізнесАналітика чи ПроджектМенеджера,,,,,,

[@stasia_le]

Так це і є робота продукт і проджектів. А/Б тестування це вид маркетингового дослідження 😅