ПРОДУКТОВЫЕ ГИПОТЕЗЫ примеры и правила. Все о продуктовых гипотезах в IT

[@Noukash]

Господа, не стесняемся ставить лайки! Алгоритмы ютуба продвигают так видео ГОРАЗДО лучше. Весь мир должен узнать про продуктовые гипотезы!

[@vsh9394]

ставим!

[@TheHamsterWaffle]

Ну какой же хороший контент! Что новый, что старый - все до сих пор полезно)

[@annagorobtsova1636]

Спасибо, очень интересно! Мой любимый тип видео на вашем канале - такие подробные разборы. Что особенно нравится: по мере просмотра когда какой-то вопрос возникает в голове, вы на него сразу отвечаете :)

[@Noukash]

Спасибо большое за комментарий! Я рад, что вам понравилось видео!

[@ДмитрийШейнкман]

Нигде не встречал такого простого и полного объяснения продуктовых гипотез. Огонь!

[@CHEIWE]

И неправильного. Точнее такой неполной интерпретации. Есть другие 7 критериев хорошей гипотезы, а такеже точное определение что это. Тут больше отсебятинки было.

[@ЕвгенияПерепелкина-р7у]

Спасибо! Очень емкий разбор без воды, самое то для новичков.

[@НастасьяВетропузова]

Вы прекрасно объясняете, спасибо большое! смотрю с удовольствием, каждое утро по одному вашему видео, мотивирую себя на работу

[@elmira363]

Лайк для +1% позитива к 100% 🤩 Подача супер! Супер флюиды , ловлю ловлю 🤗🤗🤗

[@CECTPAXAOC]

хах) я эту гипотезу подтверждаю уже полгода примерно) как посмотрю, так настроение на 32% повышается.

[@VadimKvachev]

Огонь! Давно ждал этой темы

[@Noukash]

Спасибо большое за комментарий!

[@pyramidhead9692]

Спасибо за видео. По некоторым вопросам опытный HR может приврать, например зачем вы ищите еще сотрудника. Видел компанию, в который был план по найму и план по увольнению.

[@dariaoskin_proart]

Благодарю Вас за видео. Очень конструктивно, полезно, по делу и главное - с примерами.

[@LeonidYakovlev85]

Андрей, запоздалое традиционное спасибо за выпуск, как всегда здорово - интересно и содержательно 👍

[@РоманБобков-ж7ы]

Спасибо, тебе! Первое четкое видео, которое дает понимание, что такое гипотеза)

[@ilyapetrov2681]

Очень интересно, спасибо за творчество

[@LenaOnufrieva]

Очень круто и без воды спасибо

[@ЛейсанМуслимова-щ6т]

Очень ценная информация!

[@olegkozlov4564]

Респект. Хорошее познавательно видео для старта продактов.

[@altynaino6674]

Так просто и понятно объясняете. Рада что нашла ваш канал.

[@SvetlanaDavydova]

Спасибо!

[@ЯрослабРесчиков]

Мы тут всей палатой смотрим, я пациентам показал. Один парень даже в IT захотел ^____^

[@Noukash]

Я очень рад) Спасибо за комментарий)

[@И.Наказуева]

Андрей, вы, как всегда, на высоте! Столько классного материала. Как вы готовитесь к вашим видео? Кучу всего изучаете?

[@Noukash]

Спасибо большое за комментарий! Пока что, все о чем я говорю на канале прямо попадает в сферу моих профессиональных интересов. Я же продуктовый аналитик) Как мне без этих знаний быть?)

[@И.Наказуева]

@@Noukash то есть практика? А есть ли что-то почитать по продуктовым гипотезам? Можете порекомендовать?

[@Noukash]

@@И.Наказуева Скорее посмотреть. Я всем советую лекции Школы Менеджмента Яндекса. Они есть в открытом доступе. Вот например подробнее про продуктовые исследования - kzbin.info/www/bejne/Zn61e4mlntajjsk

[@Vovtyaichu]

Достаточно конкретно рассказываешь, и мне это очень нравится. Правда пары моментов не понял: откуда в формуле гипотезы берутся количественные выражения для сроков реализации и увеличения какой-нибудь метрики? Ты эти показатели получаешь в ходе стат. обработки?

[@PolinaYasinskaya]

Андрей, спасибо за видео! Как всегда интересно. Только немного не поняла - то есть какие-то крупные изменения внедрять не имеет смысла? Какие-то большие обновления, которые, дадут результат только в долгосрочной перспективе.

[@Noukash]

Хороший вопрос! Имеет конечно! Просто крупные изменения обычно уникальны, сложно их повторить или потом для себя выделить "Что конкретно повлияло на изменение метрик после апдейта?". Если есть возможность, то всегда лучше разбивать 1 крупное изменение на 10 мелких.

[@Hey_Belka]

Нашла ваш канал и залипла!)) очень классный формат и четкая структура! Вопрос по видео: как прогнозировать на сколько поменяется метрика?

[@Noukash]

Спасибо за комментарий! К сожалению очень обширная тема для ответа, записал себе в контент план для видео. Из простых способов можно покопать в сторону линейной регрессии. Но для АБ зачастую изменение прикидывается на глазок

[@amiran_g]

Спасибо, за видео! Можете уточнить, чем изложенное в этом видео отличается от UX исследований? В чем различия и в чем схожесть? Выносим за скобки исследование интерфейсов и дизайн.

[@isuvorov]

Допустим есть гипотеза: перекраска кнопки в зелёный цвет увеличит количество заказов из РФ на 12% в течении недели. 1) Откуда вообще взять количественный прогноз 13%? Из прошлого эмпирического опыта? 2) Провели тест: продажа увеличилась, но на 6%. Как быть дальше? Продолжать менять цвет/форму пока не выжмем 12%? Или идём дальше? 3) допустим продажи из РФ в увеличились на 14%, но продажи из Азии уменьшились на 3%. Нужно ли после раскатки гипотезы на всей выборке тестировать изменение суммарных метрик?

[@Noukash]

Так, по очереди 1) Да, чисто из опыта, бенчмарков, которые есть на рынке. Тут есть момент, что есть термин Минимальный видимый эффект - это тоже тот, кто проводит тест определяет - какое изменение считать существенным. Что - естественные колебания показателя, а что результат наших действий. Чем больше видимый эффект тем меньше нужна выборка. Например, если мы договорились, что только изменение показателя на 100% является существенным, то нужна гораздо меньшая выборка. Соответственно прогноз по изменению не накладывает ограничения на тест, а минимальный видимый эффект накладывает (это сразу и ко второму вопросу) 3) Конечно нужно смотреть суммарное изменение метрик. Подразумевается, что можно разделить трафик и части пользователей (например из Азии) показывать один вариант, а части (из России) другой - и тестируем изменение и подводим итоги только на той группе, которую мы обозначили. Если сайт/продукт один для всех и изменения касаются сразу всех, то нужно подводить общие итоги и балансировать между увеличением конверсии для одной группы и уменьшении для другой

[@TheDUMIII]

Остаются только два вопроса, от куда берутся прогнозируемые проценты той же конверсии. И как понять, что именно какое либо изменение повлияло на ту же конверсию, когда на это влияет миллион других переменных)

[@Zacher772]

Круто, как ты все это структурировал для себя? Спасибо

[@vsh9394]

я в продуктовом был только что

[@traktin4590]

Комментарии пёселя жду больше видео. Прости, Андрей.

[@Noukash]

Все в порядке, я тоже)

[@annagorobtsova1636]

Заинтересовали качественные исследования. Ими обычно занимаются продуктовые команды или привлекают со стороны тех, кто занимается подобными опросами?

[@Noukash]

Спасибо за вопрос! Обычно ими занимается продуктовые команды. Хороший продакт должен уметь хорошо кастдевить.

[@annagorobtsova1636]

@@Noukash а вы в компании своей делали такие исследования? Интересуюсь, потому что близка проф.сфера.

[@Noukash]

@@annagorobtsova1636 Мы занимались только количественными исследованиями, к сожалению. Надеюсь в ближайшем будущем удастся получить опыт качественных и побольше про него рассказать.

[@alekseyplagin]

Подскажите форумы по Продуктовой Аналитике?

[@VadimKvachev]

Как пользователь из приложения попадает в форму опроса? Ему вылезает ссылка какая-то или что происходит?

[@Noukash]

Спасибо за комментарий! Ну, в случае surveymonkey, который я приводил в пример это просто отдельный сайт, где ты находишь аудиторию и там формируешь вопросы. Custdev это качественное интервью в живую. Но есть еще один способ, можно с помощью рекламной сетки давать рекламу (которая ведет на опрос) на пользователей, которые уже пользовались приложением. Для такого есть отдельный термин - ремаркетинг.

[@dmitriy_eto_ya]

Как спрогнозировать на сколько % увеличится конверсия например при изменении цветовой гаммы на сайте? По каким исследованиям мы можем это предположить?

[@МарияРомановна-к9ю]

добрый день! а откуда вы берете проценты?

[@pavelkamchatsky]

Всегда интересовал вопрос, откуда берется данные по повышению конверсии? Почему именно 12 процентов а не 7? Это исключительно пальцем в небо или есть все таки какие-то алгоритмы расчета?

[@dimakoveshnikov9682]

Согласен с вопросом. Хотелось бы разобраться в оценке(предоценке) и как прогнозировать увеличение метрик?

[@И.Наказуева]

Вопрос такой возинк: продуктовые гипотезы - это всегда инициатива разработчика или они могут приходить "сверху"?

[@Noukash]

Здравствуйте, спасибо за комментарий! Хороший вопрос. Нет, разработчик зачастую не отвечает за составление продуктовых гипотез (если только он не в одиночку все делает). В первую очередь за продуктовые гипотезы отвечает продакт менеджер, потом продуктовый дизайнер, потом продуктовый аналитик. Разработчик обычно в этом не участвует, у него своей работы много.)

[@ilya5293]

Спасибо за видео кратко, понятно и в то же время очень емко по информации. Хотелось бы узнать как генерировать продуктовые гипотезы?

[@Noukash]

Спасибо большое за комментарий! Чтобы генерировать, нужно искать инсайты в данных, смотреть что делают конкуренты, изучать тенденции рынка, общаться с пользователями. Это творческий процесс. Одного решения нет

[@ilya5293]

@@Noukash Смотреть что делают конкуренты это конкурентный анализ. Общаться с пользователями это интервью, тестирования, опросы. Тенденции рынка это в целом в каком направлении двигаются сейчас похожие продукты. А искать инсайты в данных это аналитика данных?

[@Noukash]

@@ilya5293 Да, все верно

[@ilya5293]

@@Noukash Я работаю продуктовым дизайнером, но я практически ничего не знаю о метриках и как с ними работать. У вас было видео про курс gopractice как вы считаете он мне подойдет?

[@Noukash]

Курс gopractice отлично вам подойдёт. Он как раз рассказывает про метрики, гипотезы, поиск инсайтов из данных и как проводить эксперименты

[@Ыыыыгаминг]

Как количественно измерить настроение?)

[@annagorobtsova1636]

Андрей, а вам как продуктовому аналитику приходится постоянно формировать и проверять продуктовые гипотезы? Это превращается в рутинный процесс? Ещё заинтересовало два вопроса: как вы считаете точные показатели, которых планируется достичь по метрикам (ну то есть откуда берётся точная цифра n%), и какой в среднем процент гипотез у вас в работе подтверждается?

[@Noukash]

Спасибо за вопросы! Да, я постоянно работаю над новыми продуктовыми гипотезами. Это не то чтобы рутина, так как все гипотезы разные, скорее то, что приходится делать постоянно. Точные показатели в продуктовых гипотезах это всегда аппроксимация, то есть наверняка что будет никто не знает. Аппроксимация на основе: исторических данных, других прошлых гипотез, средних бенчмарков по рынку. В основном, смотрю на историю показателя и на основе этого даю прогноз. Но это конечно все очень условно, если мы говорим про гипотезы, которые проверяются A/B тестом, то достаточно определить интервал минимально видимого эффекта для показателя и потом на него ориентироваться. Подтверждается около 20% примерно. Но бывают редкие гипотезы, которые выстреливают гораздо лучше, чем мы думали и в них кроется настоящее счастье.

[@annagorobtsova1636]

@@Noukash Спасибо за ответ, очень любопытно.

[@АнатолийБыков-п5я]

Первый пример. "Новый экран покупки. Увеличит конверсию в покупку. для пользователей США. на 12%. за 2 недели " ВОПРОС. Почему 12% ? Как рассчитали что это принесёт именно 12% а не скажем 15% или 35% ? типа, на чём основана эта гипотеза? )) )

[@СафроноваМария-х3ъ]

А кто обозначает условия продуктовой гипотезы? Увеличиться на 10%, достигнет таких то показателей через 2 месяца????

[@ЯрослабРесчиков]

Так-с О__о Тип вопросик =D Над одной гипотезой работает один человек или команда?

[@Noukash]

Может быть и один человек, может быть и продуктовая команда. У нас в компании для этого есть целая рабочая группа)

[@bip-bip-tip]

Шестое, это то, которое пятое по списку, или есть какая-то пасхалка в видео?) kzbin.info/www/bejne/pIHKo6ejnZesp7s

[@annagorobtsova1636]

А кто такие органические пользователи?

[@Noukash]

Спасибо за комментарий, хороший вопрос. Органические пользователи это те, которые пришли не с рекламы. То есть сами нашли продукт (в сторе, если это приложение, или просто в интернете). Те, которые приходят с рекламы называют неорганическими пользователями. На примере моего канала - есть зрители, которым ютуб рекомендует видео и они приходят на канал - это органика. А, если я закуплю рекламу в телеграм канале, то это будет неорганический трафик.

[@annagorobtsova1636]

@@Noukash ага, понятно. Ваш канал заслуживает много-много органических пользователей!

[@Noukash]

@@annagorobtsova1636 Спасибо большое за комментарий! Такие комментарии помогают двигаться дальше!

[@Voxdej]

Придумают новые слова, зачем? "План развития" не устраивает?

[@yuliyapopova2897]

Он оригинальные слова из методики использует

[@vsh9394]

Я непонял о каких продуктах реч

[@kristinakanazirskaya219]

Об органических

[@amiran_g]

Какие, на Ваш взгляд, гипотезы могут сделать только Продуктовые аналитики и не могут сделать UX исследователи. В чем на Ваш взгляд специфика? Исследование интересов и дизайн не будем учитывать))

[@vsh9394]

никаких гипотес