A/B ТЕСТИРОВАНИЕ простыми словами. Как провести АБ тест правильно?

Как правильно организовать процесс A/B тестирования? Разбираем по шагам - как правильно проводить АБ тест от начала и до конца. И если вы ни разу не проводили ab тесты и сейчас вам дали такую задачу, это видео специально для вас.
Другие полезные видео:
Все о продуктовых гипотезах: • ПРОДУКТОВЫЕ ГИПОТЕЗЫ п...
A/b тестирование (1 часть): • A/B ТЕСТИРОВАНИЕ: Поче...
Как рассчитать продуктовые метрики: • ПРОДУКТ в IT. Как расс...
Статистика для аналитики: • Зачем нужна СТАТИСТИКА...
Как SQL и PYTHON используют в аналитике данных? • Как SQL и PYTHON испол...
Калькулятор для расчета выборки: www.evanmiller.org/ab-testing...
Калькулятор p-value: www.evanmiller.org/ab-testing...
Таймкоды:
00:00 - А нужен ли вам А/Б тест?
01:19 - Формулируем гипотезу и определяем ключевую метрику
02:53 - Рассчитываем размер выборки
05:40 - Запускаем AB тест! И ждем его окончания
07:28 - Изменение значимое? Считаем p-value
08:13 - Рассчитываем доверительный интервал
08:32 - Смотрим прокси-метрики
_____________________
Меня зовут Андрей - я работаю продуктовым аналитиком в немецком IT-стартапе и на этом канале (Noukash) я рассказываю про карьеру в IT и продуктовую аналитику. Будут разборы профессий, советы по обучению, истории и многое другое. Подписывайся и оставляй комментарии)
Записывайся на мой интенсив по поиску работы заграницей: noukash.com/
🇺🇸 Учить английский с носителем (со скидкой 10$): www.italki.com/affshare?ref=a...
Instagram*: / noukash
Telegram: t.me/noukashblog
Чат для общения: t.me/noukash_it
*Meta признана экстремистской организацией и запрещена на территории России...

[@Dkny1985]

Уместить столько инфы в 10 минут, круто

[@Noukash]

Спасибо! Рад, что полезно!

[@webypanda2861]

Классная подача - четко, по делу и с таким позитивом. Спасибо!😊

[@LeonidYakovlev85]

Большое спасибо за интересный и содержательный выпуск.👍👍👍

[@buffon3112]

Огромное спасибо зи информацию, понял что допускал ряд ошибок в своей работе, тема АБ тестов заиграла новыми красками))

[@user-lg5cj2ip6e]

Андрей, спасибо вам! И правда, простое и доступное объяснение (это я вам говорю как махровый гуманитарий, который пересмотрел кучу видео и прочёл несколько статей, но доходчиво объяснили только вы) :) спасибо!

[@vladyslavsysoiev5923]

Спасибо за такой крутой контен🤘

[@violetpeace5334]

Супер полезно и коротко о главном :) Спасибо!

[@KepKepych]

Спасибо, Андрей!

[@alexandram1460]

Вот бы мастер-класс по всему процессу)) спасибо.

[@arina_data_analyst]

Очень полезно, информативно, без воды!

[@Noukash]

Рад, что видео полезно!

[@user-kj5xm2mg4m]

Спасибо за полезное видео!

[@Calmasastone]

А вот и новые знания подкатили :) Пошел за яблочками к видео ^_^

[@MrJet84]

Красавчик! Подписка

[@user-rl5it5re5m]

Очень полезно!

[@khnykaq8823]

Тот случай, когда кликнул по видео, чтобы узнать значение термина, но что-то пошло не так.... Мое скромное мнение - раз уж видео называется "простыми словами", то в начале неплохо бы дать определение , желательно "на пальцах"

[@rustrust4241]

Андрей, а кто в команде за какие активности отвечает? Например, продакт выдвигает гипотезу и определяет: что будем тестировать, какие метрики используем, что ожидаем и в какие сроки, достаточное количество трафика для проверки и т.д. А вот дальше: Кто выполняет техническую часть? Используется внешний инструмент или ...? Какая в данном процессе роль аналитика? Какие члены команды участвуют в обсуждении гипотез и конкретно этого теста? Про инструменты, полагаю нужно отдельное видео ))

[@d0bleanch0]

Подписался. Офигенно. И напишу еще 2 слова, чтобы алгоритмы ютуба засчитали этот комментарий.

[@alexeyn1142]

спасибо! надо бы про АА тест сказать и его необходимость перед АВ

[@denchad7574]

Видишь Андрея - лайк не глядя

[@egorsharapov7695]

А что посоветуете почитать по этой теме, чтобы легко проходить собеседования

[@mikhailromanov5070]

топ!!! автор выбрал язык фактов

[@prohor6018]

Подскажите, на каких платформах делать АБ для web и app тестов?

[@user-il1kp5dh6r]

Как насчёт А/А теста ? И интересны методы по ускорению А/В тестов Понятно что в 10 минутный формат не укладывается но все же.

[@Noukash]

Сниму про ускорение обязательно!

[@Anna-wu9dp]

Спасибо большое за видео! А как чаще всего проверяется статистическая значимость: T-тест, Z-тест, U-тест?

[@Noukash]

Это зависит преимущественно от метрики и от сэмпл сайза. У меня в работе в основном я выбираю между двумя вариантами t-test и z-test. Вот неплохое объяснение про разные юз кейсы по ним bytepawn.com/ab-testing-and-the-ttest.html

[@piano_disolito]

Сколько месяцев учиться языкам программирования, нужным для проведения в б теста в профессии аналитика?

[@user-tc4ci5vq5b]

Как стать респондент а/в тестов? как проходить тесты и зарабатывать ?

[@user-qu3km5uv1k]

Привет, Андрей! Недавно начал смотреть твой канал, очень интересно и познавательно. У меня вопрос немного не по теме...если ты ведущий аналитик (айтишник), на удалёнке, с хорошей зп, зачем тебе заниматься ютубом? Это же наверняка занимает много времени и сил...сюжет, съемка, монтаж и тд. Это как хобби? Я без претензий, действительно интересно.

[@Noukash]

Привет! Рад, что канал полезен и добро пожаловать. На самом деле ютуб большая часть жизни. Занимаюсь по двум основным причинам: 1. Мне действительно нравится объяснять и доносить информацию. Я чувствую в этом большую пользу. Так первые пару лет канала на нем почти не было просмотров, но все равно я был рад, если это помогло 30-40 людям. 2. Это хороший дополнительный доход. Во первых за счет рекламы в видео, во вторых за счет интенсива, который я провожу по поиску работы за границей. Часть этого отбивает затраты на производство видео (студия, оператор, монтаж) Первая причина для меня важнее, чем вторая. То есть я бы не стал делать бесполезные видосы или липовые курсы. Просто люблю рассказывать, то что знаю.

[@user-qu3km5uv1k]

Большое спасибо за такой развернутый ответ! Впервые общаюсь с автором канала на Ютубе, это здорово! Я никому раньше не писал)) Благодаря тебе и твоему каналу начал изучать SQL (для начала), очень интересно. Продолжай в том же духе!👍

[@Noukash]

Спасибо! Удачи с обучением!

[@user-rh4xc3ug5r]

Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.

[@Noukash]

Все зависит от размера выборки. Нужно проводить пока не наберется достаточная выборка для определения стат значимости

[@kris_the_analyst]

зависит от сезонности бизнеса. зачастую меньше недели смысла проводить нет, т.к. поведение пользователей в разные дни недели может отличаться

[@user-lc1ps9rd3m]

Спасибо за видео, а почему не проводят A/A/B тесты? Везде слышу, что так не делают, но почему так не делают, никто не говорит)

[@Noukash]

А зачем A/A/B тесты?) Почему не A/A/A/B?)

[@plained78]

И что в итоге a/b тесты?

[@elpet8727]

Андрей, а почему кольцо на левой руке?😉

[@rudybanks6357]

он что-то понял.

[@sumburno]

4:50 Что-то я здесь эту логику не совсем понял: вот есть покупатели, которые приходят, покупают и на 7-й день возвращается определённый процент. Если мы просто увеличим траффик и будет больше покупателей, то их будет больше и на 7-й день, но в абсолютном значении, а в относительном процент будет примерно тот же, потому что значимых действий (например, какой-то новый сервис) с нашей стороны не было, чтобы люди возвращались чаще.

[@Noukash]

Нет - я говорил про то, что процент вернувшихся на 7 день кореллирует с процентом вернувшихся через один день и эта метрика больше и на неё проще таргетировать АБ тест

[@sumburno]

@@Noukash а, тогда недопонял изначально.

[@user-ox8qu5yl5f]

Кто-нибудь может разъяснить, что подразумевается в самом конце 4 пункта под небольшой базой в 1000?

[@Noukash]

Я имел в виду, что разница в конверсии может быть большой но на маленькой выборке она не статистически значима

[@MuTcyXuDe]

Есть еще один способ - байесовские тесты. И там проблемы подглядывания, МДЕ - все это идет к черту. Очень советую почитать или поспрашивать чатгпт про это безобразие

[@user-cr2cp1gx2v]

А что такое то A/B тестирование? И для чего оно нужно? С первых секунд уже ничего не понятно

[@user-rk6ls4kb2w]

А б тестирование простыми словами. Так че это вообще, в видео не говорится

[@evgenianovikova3596]

Ваще ниче не поняла хдддд

[@user-wr6sr6xx6z]

шо за продукты аналитишь

[@null-rnd]

Не хватило самых простых определений: p-value, etc.