Анатолий Карпов - A/B-тестирование: как сделать так, чтобы оно заработало

[@abraksas94]

Очень ясно изложил, прям как на своих курсах на степике. Спасибо!

[@EaSy64region]

К вопросу об усреднении CTR. В задачах машинного обучения похожая ситуация возникает при использовании метрики для многоклассовой классификации. Перенося проблему на пример с объявлениями есть: (1) Микроусреднение 1. Берем просто общий CTR (общие клики разделить на общие показы) Логика применения: чем больше показов на какое-то отдельное объявление, тем нам важнее CTR именно на нем. То есть сдвигает целевой показатель (CTR) в сторону преобладающего класса (объявления с большим числом показов) (2) Макроусреднение 1. Считаем для каждого объявления его собственный: CTR_k (не общие клики и показы, а отдельно для каждого объявления) 2. Усредняем показатели по всем классам (делим каждый CTR_k на количество объявлений): CTR = CTR_k / K Логика применения: вне зависимости от количества показов на отдельных объявлениях, мы получаем CTR с поправкой на несбалансированные показы. Например, если у нас 2 объявления, и на одном гораздо больше показов/кликов чем на другом, то при микроусреднении мы получим CTR, смещенный в сторону CTR большого класса. То есть для каждой задачи аналитик сам решает, ему больше надо оценить CTR по каждому классу (например, найти более крутое объявление) или общий CTR на всю кампанию для подведения итогов.

[@ДарьяОсипова-х7о]

Обалденно. Человек нашел себя, любит статистику и проявляет себя в этом. И это самое великолепное!

[@gikis1]

Божественное выступление! И бесплатно! спасибо вам, ребята!!

[@ptreeful]

А в этом видео есть что-нибудь про A/B тестирование?

[@murrrketolog]

Спасибо большое за выступление. Очень доступно и понятно.

[@СергейКамсарин]

Да круто) как фильм остросюжетный посмотрел)

[@vasiliidovedov3675]

Насколько же он хорош!)

[@distruktiv8504]

Гениальный шахматист

[@ЗульфияНигмадзянова]

Узнала много интересного и полезного! Круто! Спасибо большое за доклад👍

[@TheXbadcode]

Загадка с CTR - может, просто парадокс Симпсона? Когда при объединении групп отличается поведение, чем если их по отдельности считать

[@eugene9271]

вроде оно и есть

[@imagination9811]

Лучший!

[@Борис-в5ъ8в]

Здравствуйте мистер Шелдон Купер

[@seoonlyRU]

ЛАЙК от топового вебмастера и тестировщика СЕООНЛИ

[@Gruzinov]

На графике с CTR от нуля до 200 у меня ни одной идеи, что за значения на оси x. CTR меряется в процентах о нуля до 100% (ну или от нуля до единицы).

[@user-bj6vm2dx2v]

Про открытый вопрос на 35 минуте (считать CTR суммарно по всем объявлениям или считать CTR по отдельным объявлениям, а потом усреднять), так какой же способ проверки правильно было бы использовать и почему?

[@and_and1]

35 минута это не ru.wikipedia.org/wiki/%D0%9F%D0%B0%D1%80%D0%B0%D0%B4%D0%BE%D0%BA%D1%81_%D0%A1%D0%B8%D0%BC%D0%BF%D1%81%D0%BE%D0%BD%D0%B0 или я ошибаюсь?

[@hipotalamus]

похоже на то.

[@fluffybobber]

35 минута: CTR по сути нормирует(взвешивает, исправляет) показания кликов для каждого объявления согласно числу его показов. Чем больше показов - тем большее число кликов требуется для высокого ctr. То, что нормирование всех кликов по всем показам это совершенно другая вещь - едва ли должно требовать пояснений. Приведу пример: Допустим, есть норма сытости двух животных: у козлика это 8 яблок в день, а у кролика 3 яблока в день. У нас есть 10 яблок. Неужели не очевидно, что индекс голода будет радикально отличаться от того, лишим мы недостающего яблока козлика или кролика? Лишаем козлика: Голод козлика = 1/(7/8), а кролика 1/(3/3). Средний (1,14+1)/2 = 1,07 голода Лишаем кролика: Голод козлика = 1/(8/8), а кролика 1/(2/3). Средний (1+1,5)/2 = 1,25 голода Некорректно: Общий индекс голода: 10/(8+3) = 1,1 Непоказательно совершенно. Забавно, что, будь у нас не 10, а 8 яблок, мы могли бы заморить голодом кролика или накормить кролика 2-мя, а козлика 6-ы яблоками и не показательный способ подсчета не увидел бы разницы. Я надеюсь понимание ситуации мне удалось вывести за предела математики? Обожаю разбираться в таких вопросах... может тоже пойти в анализ? С чего начать, если есть опыт программирования, работы с нампи, пандас, если преподавал в вузе матстат и матан?

[@aleksandrsmurov5135]

Да, а почему бы и не пойти :)

[@aleksandrsmurov5135]

Нужно вступить в ods :) Понять в какую ветку аналитики хочется и от этого отталкиваться. Из общего - SQL

[@diapaz2608]

Можно протестировать и компании и объявления и группы???

[@sergeypinaev4376]

CTR - это доля (те процент), но сумма CTR(процентов) элементов - не равна общей СTR(процентов). Например: 50/100 (50%) + 5/10 (50%) == 1(100%) и это не равно (50+5)/(100+10) = 0.5 (50%). Другими словами от долей и процентов нельзя считать сумму имхо

[@hipotalamus]

возможно там не совсем про сумму CTR, в качестве процентов, а про сравнение среднего значения по показателю среди объявлений и простым делением суммы всех кликов на сумму всех показов

[@ivanshamaev]

10% от 1000 это 100, т.е. на 26 минуте ошибка в сравнении 1000 и 1010 (должно быть 1100)

[@CommieDog1917]

Так не, там же доказывается именно то, что рейтинг изменяется в процентах, а не в единицах. Т.е. изменение со 100 до 110 - это 10 единиц, 10% и рейтинг увеличился на 1 А с 1000 до 1010 - это тоже 10 единиц, но уже 1% и, соответственно, рейтинг увеличился не на 1, а на 0,1

[@Pavlo-Shatohin]

Классный доклад, но как-то стремно от того, что вы не понимаете, почему нельзя усреднять проценты CTR, чтобы оценить средний результат по фиче. Как минимум мы не определили, что это вообще за параметр такой - средневзвешенный процент, где каждой группе выдан равный вес, независимо от её вклада в общий результат. Почему группа объявлений тут играет роль более важную, чем влияние фичи на результат? А раз мы не определили, что это за показатель мы считаем, то ясное дело, мы не знаем, о чем он нам говорит.

[@maths781]

Он шахматист?

[@ВладРудь-к6ш]

жхх, а я у этого чувака учился статистике на халявном курсе степика, а счас как он поднялся))

[@Name-tn3md]

ну как, стал асом статы?

[@dimasid4642]

Очень нужно и далеко от предмета. Подводка к сути видео вообще уснуть можно

[@IIIy6a]

Зашел посмотреть про а б тесты.... а тут какие-то непорометрики и логорифмирование переменных. Люди пишут что очень ясно изложенно.. может это тонкий сарказм... В любом случае извините, я наверно ахуенно тупой.

[@igoriakubovskii1958]

Мы никогда не ПРИНИМАЕМ гипотезы Только НЕ ОТВЕРГАЕМ

[@tka400]

Я думаю ОН это знает.

[@ДмитрийЖ-п8ж]

не ложить, а класть!

[@igoriakubovskii1958]

@@tka400 но не говорит)

[@vladivas5846]

Что это значит?

[@ДмитрийЖ-п8ж]

Vladi Vas ну типо поправочка из того же класса, звучит правильней, а сути не меняет.

[@Vladfulify]

Непонятно объясняет

[@begum99]

Ой часто ходите Анатолий. Это немного раздражает. А так супер тема

[@Core499]

куча воды. неочем

[@vladivas5846]

Ходьба туда-сюда отвлекает от восприятия ( Слишком много слов...и ходьбы, поворотов. Ужас!...

[@popular_anime_hater]

вот вам придраться не к чему, кпц