ПРОДУКТОВЫЕ ГИПОТЕЗЫ примеры и правила. Все о продуктовых гипотезах в IT

Что такое продуктовые гипотезы? Каждый, кто хоть как-то связан с IT хоть раз слышал такое словосочетание "продуктовая гипотеза", а если и не слышал, то нужно услышать немедленно.
Что это такое? По сути это базовое понятие, которое необходимо знать чтобы работать в продуктовой IT команде. А если вы метите в продакт менеджеры или планируете создавать свой стартап, то вам подавно нужно смотреть видео немедленно (главное до конца! тут нельзя упускать ни одной детали).
С помощью продуктовых гипотез предлагают изменения, группируют идеи, составляют план развития продукта. От того насколько много вы знаете о продуктовых гипотезах, в частности: как быстро вы умеете их проверять, как хорошо вы умеете их составлять и какие инструменты проверки знаете, зависит жизнеспособность и рост продукта.
Видео, которые полезно посмотреть вместе с этим:
1. A/B ТЕСТИРОВАНИЕ - рассказываю про один из основных способов проверки продуктовых гипотез. • A/B ТЕСТИРОВАНИЕ: Поче...
2. Основные метрики продукта в IT. Название и как рассчитывать. Супер важно для составления хороших продуктовых гипотез знать все эти метрики. • ПРОДУКТ в IT. Как расс...
В этом видео:
00:00 - Зачем нужны продуктовые гипотезы?
01:21 - Что такое продуктовая гипотеза?
02:21 - Как выглядит продуктовая гипотеза? Как правильно ее сформулировать?
04:49 - Пример хорошей продуктовой гипотезы - №1
05:59 - Пример №2
06:37 - Необычный пример продуктовой гипотезы (со звездочкой!)
7:17 - Как проверять продуктовые гипотезы? Какие инструменты для этого есть?
08:22 - Про CustDev
09:33 - Какой должна быть хорошая продуктовая гипотеза?
13:24 - Почему важно хранить и помнить прошлые продуктовые гипотезы?
-------------------------------------------------------------------------------------------
Меня зовут Андрей - я работаю продуктовым аналитиком в IT стартапе и на этом канале (Andrey Novikov - Карьера в IT) я рассказываю про IT и стартапы. Будут разборы профессий, советы, истории. Подписывайтесь и оставляйте комментарии. Я всегда на них отвечаю.
Instagram: / noukash

[@Noukash]

Господа, не стесняемся ставить лайки! Алгоритмы ютуба продвигают так видео ГОРАЗДО лучше. Весь мир должен узнать про продуктовые гипотезы!

[@vsh9394]

ставим!

[@TheHamsterWaffle]

Ну какой же хороший контент! Что новый, что старый - все до сих пор полезно)

[@user-gl6ri8kb2q]

Вы прекрасно объясняете, спасибо большое! смотрю с удовольствием, каждое утро по одному вашему видео, мотивирую себя на работу

[@elmira363]

Лайк для +1% позитива к 100% 🤩 Подача супер! Супер флюиды , ловлю ловлю 🤗🤗🤗

[@ilyapetrov2681]

Очень интересно, спасибо за творчество

[@altynaino6674]

Так просто и понятно объясняете. Рада что нашла ваш канал.

[@user-ti8bm1tf3y]

Спасибо! Очень емкий разбор без воды, самое то для новичков.

[@LenaOnufrieva]

Очень круто и без воды спасибо

[@LeonidYakovlev85]

Андрей, запоздалое традиционное спасибо за выпуск, как всегда здорово - интересно и содержательно 👍

[@user-ul3tv1mk6i]

Очень ценная информация!

[@user-yu5mq1us2f]

Спасибо, тебе! Первое четкое видео, которое дает понимание, что такое гипотеза)

[@dariaoskin_proart]

Благодарю Вас за видео. Очень конструктивно, полезно, по делу и главное - с примерами.

[@CECTPAXAOC]

хах) я эту гипотезу подтверждаю уже полгода примерно) как посмотрю, так настроение на 32% повышается.

[@olegkozlov4564]

Респект. Хорошее познавательно видео для старта продактов.

[@annagorobtsova1636]

Спасибо, очень интересно! Мой любимый тип видео на вашем канале - такие подробные разборы. Что особенно нравится: по мере просмотра когда какой-то вопрос возникает в голове, вы на него сразу отвечаете :)

[@Noukash]

Спасибо большое за комментарий! Я рад, что вам понравилось видео!

[@pyramidhead9692]

Спасибо за видео. По некоторым вопросам опытный HR может приврать, например зачем вы ищите еще сотрудника. Видел компанию, в который был план по найму и план по увольнению.

[@user-rl5it5re5m]

Огонь! Давно ждал этой темы

[@Noukash]

Спасибо большое за комментарий!

[@SvetlanaDavydova]

Спасибо!

[@Pangalysh]

Достаточно конкретно рассказываешь, и мне это очень нравится. Правда пары моментов не понял: откуда в формуле гипотезы берутся количественные выражения для сроков реализации и увеличения какой-нибудь метрики? Ты эти показатели получаешь в ходе стат. обработки?

[@user-wf3by7vp9v]

Нигде не встречал такого простого и полного объяснения продуктовых гипотез. Огонь!

[@CHEIWE]

И неправильного. Точнее такой неполной интерпретации. Есть другие 7 критериев хорошей гипотезы, а такеже точное определение что это. Тут больше отсебятинки было.

[@Zacher772]

Круто, как ты все это структурировал для себя? Спасибо

[@user-eu4xk3dp8u]

Мы тут всей палатой смотрим, я пациентам показал. Один парень даже в IT захотел ^____^

[@Noukash]

Я очень рад) Спасибо за комментарий)

[@amiran_g]

Спасибо, за видео! Можете уточнить, чем изложенное в этом видео отличается от UX исследований? В чем различия и в чем схожесть? Выносим за скобки исследование интерфейсов и дизайн.

[@Hey_Belka]

Нашла ваш канал и залипла!)) очень классный формат и четкая структура! Вопрос по видео: как прогнозировать на сколько поменяется метрика?

[@Noukash]

Спасибо за комментарий! К сожалению очень обширная тема для ответа, записал себе в контент план для видео. Из простых способов можно покопать в сторону линейной регрессии. Но для АБ зачастую изменение прикидывается на глазок

[@vsh9394]

я в продуктовом был только что

[@traktin4590]

Комментарии пёселя жду больше видео. Прости, Андрей.

[@Noukash]

Все в порядке, я тоже)

[@user-pf4mn6ef4p]

Андрей, вы, как всегда, на высоте! Столько классного материала. Как вы готовитесь к вашим видео? Кучу всего изучаете?

[@Noukash]

Спасибо большое за комментарий! Пока что, все о чем я говорю на канале прямо попадает в сферу моих профессиональных интересов. Я же продуктовый аналитик) Как мне без этих знаний быть?)

[@user-pf4mn6ef4p]

@@Noukash то есть практика? А есть ли что-то почитать по продуктовым гипотезам? Можете порекомендовать?

[@Noukash]

@@user-pf4mn6ef4p Скорее посмотреть. Я всем советую лекции Школы Менеджмента Яндекса. Они есть в открытом доступе. Вот например подробнее про продуктовые исследования - kzbin.info/www/bejne/Zn61e4mlntajjsk

[@PolinaYasinskaya]

Андрей, спасибо за видео! Как всегда интересно. Только немного не поняла - то есть какие-то крупные изменения внедрять не имеет смысла? Какие-то большие обновления, которые, дадут результат только в долгосрочной перспективе.

[@Noukash]

Хороший вопрос! Имеет конечно! Просто крупные изменения обычно уникальны, сложно их повторить или потом для себя выделить "Что конкретно повлияло на изменение метрик после апдейта?". Если есть возможность, то всегда лучше разбивать 1 крупное изменение на 10 мелких.

[@dmitriy_eto_ya]

Как спрогнозировать на сколько % увеличится конверсия например при изменении цветовой гаммы на сайте? По каким исследованиям мы можем это предположить?

[@user-ow7rm7xq3k]

добрый день! а откуда вы берете проценты?

[@alekseyplagin]

Подскажите форумы по Продуктовой Аналитике?

[@ilya5293]

Спасибо за видео кратко, понятно и в то же время очень емко по информации. Хотелось бы узнать как генерировать продуктовые гипотезы?

[@Noukash]

Спасибо большое за комментарий! Чтобы генерировать, нужно искать инсайты в данных, смотреть что делают конкуренты, изучать тенденции рынка, общаться с пользователями. Это творческий процесс. Одного решения нет

[@ilya5293]

@@Noukash Смотреть что делают конкуренты это конкурентный анализ. Общаться с пользователями это интервью, тестирования, опросы. Тенденции рынка это в целом в каком направлении двигаются сейчас похожие продукты. А искать инсайты в данных это аналитика данных?

[@Noukash]

@@ilya5293 Да, все верно

[@ilya5293]

@@Noukash Я работаю продуктовым дизайнером, но я практически ничего не знаю о метриках и как с ними работать. У вас было видео про курс gopractice как вы считаете он мне подойдет?

[@Noukash]

Курс gopractice отлично вам подойдёт. Он как раз рассказывает про метрики, гипотезы, поиск инсайтов из данных и как проводить эксперименты

[@user-rl5it5re5m]

Как пользователь из приложения попадает в форму опроса? Ему вылезает ссылка какая-то или что происходит?

[@Noukash]

Спасибо за комментарий! Ну, в случае surveymonkey, который я приводил в пример это просто отдельный сайт, где ты находишь аудиторию и там формируешь вопросы. Custdev это качественное интервью в живую. Но есть еще один способ, можно с помощью рекламной сетки давать рекламу (которая ведет на опрос) на пользователей, которые уже пользовались приложением. Для такого есть отдельный термин - ремаркетинг.

[@isuvorov]

Допустим есть гипотеза: перекраска кнопки в зелёный цвет увеличит количество заказов из РФ на 12% в течении недели. 1) Откуда вообще взять количественный прогноз 13%? Из прошлого эмпирического опыта? 2) Провели тест: продажа увеличилась, но на 6%. Как быть дальше? Продолжать менять цвет/форму пока не выжмем 12%? Или идём дальше? 3) допустим продажи из РФ в увеличились на 14%, но продажи из Азии уменьшились на 3%. Нужно ли после раскатки гипотезы на всей выборке тестировать изменение суммарных метрик?

[@Noukash]

Так, по очереди 1) Да, чисто из опыта, бенчмарков, которые есть на рынке. Тут есть момент, что есть термин Минимальный видимый эффект - это тоже тот, кто проводит тест определяет - какое изменение считать существенным. Что - естественные колебания показателя, а что результат наших действий. Чем больше видимый эффект тем меньше нужна выборка. Например, если мы договорились, что только изменение показателя на 100% является существенным, то нужна гораздо меньшая выборка. Соответственно прогноз по изменению не накладывает ограничения на тест, а минимальный видимый эффект накладывает (это сразу и ко второму вопросу) 3) Конечно нужно смотреть суммарное изменение метрик. Подразумевается, что можно разделить трафик и части пользователей (например из Азии) показывать один вариант, а части (из России) другой - и тестируем изменение и подводим итоги только на той группе, которую мы обозначили. Если сайт/продукт один для всех и изменения касаются сразу всех, то нужно подводить общие итоги и балансировать между увеличением конверсии для одной группы и уменьшении для другой

[@user-pf4mn6ef4p]

Вопрос такой возинк: продуктовые гипотезы - это всегда инициатива разработчика или они могут приходить "сверху"?

[@Noukash]

Здравствуйте, спасибо за комментарий! Хороший вопрос. Нет, разработчик зачастую не отвечает за составление продуктовых гипотез (если только он не в одиночку все делает). В первую очередь за продуктовые гипотезы отвечает продакт менеджер, потом продуктовый дизайнер, потом продуктовый аналитик. Разработчик обычно в этом не участвует, у него своей работы много.)

[@annagorobtsova1636]

Заинтересовали качественные исследования. Ими обычно занимаются продуктовые команды или привлекают со стороны тех, кто занимается подобными опросами?

[@Noukash]

Спасибо за вопрос! Обычно ими занимается продуктовые команды. Хороший продакт должен уметь хорошо кастдевить.

[@annagorobtsova1636]

@@Noukash а вы в компании своей делали такие исследования? Интересуюсь, потому что близка проф.сфера.

[@Noukash]

@@annagorobtsova1636 Мы занимались только количественными исследованиями, к сожалению. Надеюсь в ближайшем будущем удастся получить опыт качественных и побольше про него рассказать.

[@makesomepeace]

Шестое, это то, которое пятое по списку, или есть какая-то пасхалка в видео?) kzbin.info/www/bejne/pIHKo6ejnZesp7s

[@pavelkamchatsky]

Всегда интересовал вопрос, откуда берется данные по повышению конверсии? Почему именно 12 процентов а не 7? Это исключительно пальцем в небо или есть все таки какие-то алгоритмы расчета?

[@dimakoveshnikov9682]

Согласен с вопросом. Хотелось бы разобраться в оценке(предоценке) и как прогнозировать увеличение метрик?

[@annagorobtsova1636]

Андрей, а вам как продуктовому аналитику приходится постоянно формировать и проверять продуктовые гипотезы? Это превращается в рутинный процесс? Ещё заинтересовало два вопроса: как вы считаете точные показатели, которых планируется достичь по метрикам (ну то есть откуда берётся точная цифра n%), и какой в среднем процент гипотез у вас в работе подтверждается?

[@Noukash]

Спасибо за вопросы! Да, я постоянно работаю над новыми продуктовыми гипотезами. Это не то чтобы рутина, так как все гипотезы разные, скорее то, что приходится делать постоянно. Точные показатели в продуктовых гипотезах это всегда аппроксимация, то есть наверняка что будет никто не знает. Аппроксимация на основе: исторических данных, других прошлых гипотез, средних бенчмарков по рынку. В основном, смотрю на историю показателя и на основе этого даю прогноз. Но это конечно все очень условно, если мы говорим про гипотезы, которые проверяются A/B тестом, то достаточно определить интервал минимально видимого эффекта для показателя и потом на него ориентироваться. Подтверждается около 20% примерно. Но бывают редкие гипотезы, которые выстреливают гораздо лучше, чем мы думали и в них кроется настоящее счастье.

[@annagorobtsova1636]

@@Noukash Спасибо за ответ, очень любопытно.

[@user-rv8jr8cf4u]

А кто обозначает условия продуктовой гипотезы? Увеличиться на 10%, достигнет таких то показателей через 2 месяца????

[@user-eu4xk3dp8u]

Так-с О__о Тип вопросик =D Над одной гипотезой работает один человек или команда?

[@Noukash]

Может быть и один человек, может быть и продуктовая команда. У нас в компании для этого есть целая рабочая группа)

[@vsh9394]

Я непонял о каких продуктах реч

[@kristinakanazirskaya219]

Об органических

[@annagorobtsova1636]

А кто такие органические пользователи?

[@Noukash]

Спасибо за комментарий, хороший вопрос. Органические пользователи это те, которые пришли не с рекламы. То есть сами нашли продукт (в сторе, если это приложение, или просто в интернете). Те, которые приходят с рекламы называют неорганическими пользователями. На примере моего канала - есть зрители, которым ютуб рекомендует видео и они приходят на канал - это органика. А, если я закуплю рекламу в телеграм канале, то это будет неорганический трафик.

[@annagorobtsova1636]

@@Noukash ага, понятно. Ваш канал заслуживает много-много органических пользователей!

[@Noukash]

@@annagorobtsova1636 Спасибо большое за комментарий! Такие комментарии помогают двигаться дальше!

[@Voxdej]

Придумают новые слова, зачем? "План развития" не устраивает?

[@yuliyapopova2897]

Он оригинальные слова из методики использует

[@amiran_g]

Какие, на Ваш взгляд, гипотезы могут сделать только Продуктовые аналитики и не могут сделать UX исследователи. В чем на Ваш взгляд специфика? Исследование интересов и дизайн не будем учитывать))

[@vsh9394]

никаких гипотес