rutb

rutb

Личный блог: t.me/rutblog Комиксы ЦиС: t.me/rucyanide О менеджменте: t.me/pm_faq
Пикабушник
Дата рождения: 24 июня
fly2me melody.pops DNKsergey
DNKsergey и еще 3 донатера
393К рейтинг 217 подписчиков 1 подписка 725 постов 391 в горячем
Награды:
Пикабу 17 лет! За теплую историю Пикабу 16 лет! Удача в кармане 10 лет на Пикабу

Непрошеный совет

Есть хороший способ разобраться, что на самом деле умеют нейросети: попробуйте сделать аналог инструмента, которым сами пользуетесь каждый день

Не стартап. Не «убийцу X». Не уникальный продукт. Просто штуку для себя, команды или просто так

Я, например, так навайбкодил Badaction — свою доску для ретроспектив: https://github.com/Rutboy/badaction

Да, досок для ретро уже тысячи. И теперь есть ещё одна. Ну и что? Зато сам процесс дал мне гораздо больше, чем очередные десятки постов и видео про ИИ

Когда ты пытаешься сделать реальный работающий инструмент, довольно быстро приходится разбираться, как общаться с агентами, как декомпозировать задачи, насколько подробно давать контекст, где проверять результат самому и почему промпт «напиши мне приложение» гиблая идея

А потом внезапно оказывается, что ты лучше понимаешь, как устроены фронтенд, база данных, авторизация, деплой, тесты и ещё куча вещей, в которые раньше вообще не погружался

В моём случае получилась вполне настоящая self-hosted доска для ретроспектив без обязательной регистрации, с голосованием, группировкой карточек, экспортом и прочими штуками, которые мне нужны

Но ценность здесь вообще не в том, что миру теперь доступна ещё одна ретро-доска. Ценность в том, что после такого опыта отношение к нейросетям становится гораздо приземлённее. И слышать в очередной раз «я это сделал всего за пару часов без напряга, записывайтесь ко мне на курс» становится еще смешнее обычного

Меньше магии и хайпа. Больше понимания технологии, что именно она позволяет делать, где реально ускоряет работу и где всё ещё нужен человек

Ну и новый опыт — это в любом случае прекрасно!

Так что мой совет, которого никто не просил: возьмите какой-нибудь привычный рабочий инструмент и попробуйте собрать его аналог. Даже если он никому, кроме вас, никогда не понадобится

@pm_faq

Показать полностью

«45 татуировок менеджера» — много банальностей, немного здравого смысла и очень много повторов

«45 татуировок менеджера» Максима Батырева — сборник управленческих принципов, каждый из которых автор оформляет в отдельную «татуировку»: правило, которое менеджер якобы должен однажды выстрадать, запомнить и дальше применять в работе.

Звучит неплохо. На практике же примерно после первой трети книги возникает ощущение, что татуировок здесь не 45, а штук 10–15, просто сформулированных несколько раз разными словами.

При этом совсем бесполезной книгу назвать нельзя. Несколько мыслей мне действительно близки.
Например, идея о том, что нельзя делать работу за своих коллег. Задача менеджера — создавать условия, давать контекст, помогать человеку принимать решения и развиваться, а не становиться самым продуктивным исполнителем команды.
Иначе менеджер превращается в бутылочное горлышко, а сотрудники так и не учатся работать самостоятельно.

Хорошая мысль есть и в главе про очевидность: то, что очевидно тебе, совершенно необязательно очевидно другим.

Поэтому менеджеру недостаточно просто поставить задачу — нужно передать контекст и убедиться, что у всех одинаковое понимание результата. Для продуктовой работы это вообще один из ключевых навыков: команда должна понимать не только что мы делаем, но и зачем.
Полезной мне показалась и мысль о пользователях. Батырев говорит о клиентах, но в продуктовой разработке это легко переводится как «пользователь — наше всё». В конечном счёте именно пользователь определяет, имеет ли продукт какую-либо ценность, а не основатель, руководитель или продакт со своим прекрасным видением.

Есть ещё несколько нормальных принципов: признавать неработающую стратегию и менять её, хвалить людей за правильные действия, брать ответственность за проблемы команды, развивать сильные стороны сотрудников, не ждать идеального решения там, где важнее скорость. Последнее особенно хорошо ложится на продуктовый подход: лучше проверить несовершенное решение на реальных пользователях, чем бесконечно проектировать идеальное в голове.

Интересно, что некоторые идеи книги хорошо переносятся вообще за пределы менеджмента. Например, принцип «люди будут делать, когда сделать легче, чем не сделать» практически напрямую описывает хороший UX. Хочешь увеличить вероятность действия — сокращай количество препятствий. Хочешь действие остановить — увеличивай их.
На этом хорошее заканчивается.

Главная проблема — самоповторы. Идеи о последовательности руководителя, соблюдении правил, развитии сильных людей, общем видении команды, ответственности и работе с ошибками возникают снова и снова. Иногда даже сам принцип внутри главы фактически представляет собой комбинацию нескольких предыдущих.

Из-за этого создаётся ощущение, что книга искусственно растянута до концепции «45 татуировок». Какие-то главы действительно содержат самостоятельную мысль, а какие-то существуют скорее потому, что нужно было добить количество до сорока пяти.
Вторая проблема — управленческая философия самого автора.
Во многих местах менеджмент у Батырева выглядит как постоянная борьба руководителя с подчинёнными. Сотрудники обязательно попытаются сесть тебе на шею, проверить на прочность, нарушить правила, найти слабость или использовать руководителя в своих интересах.

Отсюда появляются принципы вроде «не вступайте в переговоры с террористами», «сильные уважают только силу», «не обсуждайте принятые решения с подчинёнными» и моё любимое «учить — лечить — мочить».

Мне такой взгляд на управление не близок.

Особенно спорно выглядит утверждение, что решения руководителя не нужно обсуждать с исполнителями. Команда очень часто обладает контекстом, которого нет у менеджера.
Можно принять откровенно плохое решение, а потом героически заставлять людей его реализовывать только потому, что «решения не обсуждаются». Сам Батырев позже признаёт, что любая идея руководителя может быть подвергнута сомнению, что только подчёркивает внутреннюю противоречивость книги.

Противоречий вообще хватает. Сначала автор говорит о справедливости как об одном из важнейших принципов управления, а позже заявляет, что справедливости не существует. В одной главе ответственность связывается с самостоятельным действием человека, в другой коучинг критикуется именно за передачу ответственности сотруднику. В начале предлагается научиться правилам, чтобы затем уметь их нарушать, а ближе к концу нарушение правил уже практически объявляется управленческим преступлением.

Отдельно раздражает подача некоторых вполне очевидных вещей как сакрального знания менеджера.

  • Читайте книги.

  • Хвалите людей.

  • Развивайтесь.

  • Говорите понятно.

  • Соблюдайте собственные правила.

  • Если стратегия не работает — поменяйте её.

  • Хороших сотрудников развивайте, с плохими расставайтесь.

Сами по себе советы нормальные. Но для человека с хотя бы небольшим опытом управления или продуктовой работы большая их часть вряд ли станет открытием.

В итоге для меня «45 татуировок менеджера» — книга с несколькими здравыми управленческими идеями, утопленными в самоповторах, банальностях и довольно авторитарном взгляде на отношения руководителя с командой.

Возможно, начинающему менеджеру без опыта она даст набор простых ориентиров. Но воспринимать эти «татуировки» как универсальные правила управления я бы точно не стал.
Самое полезное, что можно вынести из книги, на мой взгляд, даже немного противоречит её формату: не нужно коллекционировать красивые управленческие заповеди. Нужно понимать контекст, людей, продукт и цель, а потом выбирать подходящий инструмент под конкретную ситуацию.

Пожалуй, ради этой мысли читать все 45 татуировок было необязательно.

Для менеджеров продукта: https://t.me/pm_faq

Показать полностью
103

Куда катятся маркетплейсы?1

В пизду. И я сейчас не про ситуацию со складами Вайлдберриз. Бизнес-модель вынуждает ключевых игроков рынка переходить с этапа развития, на этап заработка денег. Всё, хорош инвестировать, пора отбивать вложенное. Рынок консолидирован и распилен. Этот мир абсолютно понятен. Селлеров теперь можно доить не стесняясь, потому что им некуда деваться. Спасибо, что помогли построить бизнес, но теперь бизнес будет строить вас

Такое положение дел, конечно, нравится не всем. Крупные ребята или ищут альтернативу, или уже её нашли в виде выхода в ретейл (а там тоже ебут). Кто-то запускает свои интернет-магазины. Но это путь не для всех. Всё таки маркетплейсы закрывают большой пласт проблем: хранение, логистика по всей стране и в последнюю милю, выдача заказов и приём возвратов. Понятно, что праздник за счёт продавцов и покупателей. Но самостоятельно этим заниматься — это ещё дороже

Небольшим селлерам и новичкам маркетплейсы стали невыгодны из-за повышенных комиссий и штрафов. Они тоже ищут альтернативы. Но для них вариантов меньше, поэтому чаще они просто закрываются

В итоге на площадке более менее комфортно уже устоявшимся селлерам средних размеров. Им и закрываться не вариант, потому что деньги то прут, и своё организовать сложно, так как дорого. В итоге приходится терпеть

Но всё это преамбула. Куда всё катится то на мой взгляд? К альтернативе. Да-да, ждём когда на рынке появится тот, кто скажет: вот вам конструктор для создания своего маркеплейса; вот вам услуги хранения и доставки, если нужны. Но все риски на вас. И такие решения уже есть. Конечно, же, первым в дело вступил Яндекс со своим Яндекс Kit. Они увидели возможность и активно тестируют лёгкий переворот рынок где-то с прошлого года

Переворот пока набок и без снятия штанов. Но, зная этих ребят, всё там будет. Они своё не упустят

В общем, будем посмотреть. Было бы интересно поглядеть как Озон, всего пару раз вышедший в плюс за всю историю, начнёт загибаться, так как через 30 лет вдруг оказалось, что бизнес идея хуйня. А вы думали почему ВБ скупает аэропорты, строит отели и тестирует формат такси в Беларуси? Про банк вообще молчу

Показать полностью
0

Яндекс Что-то

Я заметил забавную, но на самом деле довольно показательную штуку. Когда общаешься с компаниями, они нередко описывают себя через что-то вроде: «мы как Яндекс Что-то там» или «мы как такой-то большой бренд, только в другой нише»

С одной стороны, это смешно. Кажется, что почти любой бизнес можно объяснить формулой «Яндекс Что-то». Но с другой, в этом есть что-то неловкое. Потому что в этот момент компания как будто не может назвать себя своими словами. Не может коротко и внятно объяснить, в чём её собственная суть. И вместо этого опирается на чужой бренд как на костыль

Самое неприятное, что я и сам так раньше делал. Когда меня спрашивали про продукт, над которым я работаю, я мог ответить примерно так: «это как Яндекс Что-то там, только от компании X»

Хотя если честно, совпадала в основном ниша. Сам продукт был другим:

  • с другой логикой;

  • с другой политикой;

  • с другим отношением к пользователю;

  • и местами вообще с другой продуктовой ставкой

То есть как быстрый ориентир такая формулировка работает. Но по сути она упрощает продукт до чужой вывески

И мне кажется, здесь есть важная мысль не только про самопрезентацию. Если ты объясняешь продукт только через аналогию с крупным игроком, есть риск, что ты и сам начинаешь думать о своём продукте чужими категориями

А это уже опаснее, чем просто неловкая формулировка. Потому что в какой-то момент ты перестаёшь отвечать на вопрос: «что мы строим и для кого?» и начинаешь отвечать на другой: «на что мы похожи?». Фокус сильно смешается на копирование и подражание, а нужно решать проблемы своих пользователей и отталкиваться от их интересов

Аналогия может быть полезной для кулуарных разговоров или питчинга продукта для инвесторов. Но она плоха как замена собственного продуктового взгляда

Если коротко: сказать «мы как Яндекс Что-то» удобно, но почти всегда это ленивое объяснение. И чем раньше команда научится описывать свой продукт своими словами, тем лучше она понимает, что именно делает

https://t.me/pm_faq

Показать полностью
0

«От хорошего к великому». 7 важных идеи книги

Почему одни компании просто «нормальные», а другие системно вырастают в великие — без героизма, хаоса и погоде за трендами? В этой статье — 7 ключевых идей из книги Джима Коллинза «От хорошего к великому», переведённых с языка бизнес-литературы на язык реальных управленческих решений: про лидерство без эго, фокус вместо распыления, дисциплину без микроменеджмента и рост без «чудо-стратегий».

1️⃣ Лидерство 5-го уровня

Великие компании чаще строили не «звёздные» харизматики, а лидеры с редким сочетанием личной скромности и профессиональной жёсткости. Они берут ответственность на себя, а успех приписывают команде и системе. Их фокус — долгосрочная устойчивость, а не личный бренд.

Такой подход снижает зависимость компании от одного «героя» и повышает шанс пережить кризисы/смену лидера.

Принципы:

  • Нанимай/продвигай руководителей по признакам зрелости: ответственность, дисциплина, системное мышление, способность «резать» лишнее;

  • В публичной коммуникации — «мы», в разборе провалов — «я»;

  • В KPI руководителей добавь метрики преемственности: рост сильной второй линии, автономность команд.

2️⃣ «Сначала кто, потом что» (First Who, Then What)

Сначала собираешь правильных людей (и убираешь неправильных), а уже потом решаешь, куда ехать и что именно строить. В условиях неопределённости стратегия меняется, а сильные люди тянут любую адекватную стратегию. Плохие люди ломают даже хорошую.

Снижает стоимость ошибок стратегии и ускоряет адаптацию.

Принципы:

  • «Компетентен, но токсичен/пассивен» — это минус для компании;

  • Подбирай команду под задачу: «кто на этом месте даст x2?»;

  • Ставь людей на роли по их сильным сторонам, а не чтобы заткнуть дырку. Используй талант и заряд людей для роста, а не для оптимизаций.

3️⃣ Парадокс Стокдейла

Нужно одновременно: (а) смотреть в лицо суровой реальности без самообмана и (б) сохранять непоколебимую веру, что ты победишь в долгосрок. Не «всё будет хорошо», а «сейчас плохо X, и мы всё равно вытащим, потому что Y». Это дисциплина мышления.

Защищает от двух смертельных крайностей — паники и розовых очков.

Принципы:

  • Введи регулярные «brutal facts» сессии: что не работает, что мы игнорируем, какие риски заметаем;

  • Разделяй «факты» и «предположения», фиксируй решения письменно;

  • Коммуникация сверх-вниз: говори честно про проблемы, составляй понятный план действий. Коммуникация в формате «проблема — решение».

4️⃣ Концепция Ежа (Hedgehog Concept)

Стратегия достижения выдающегося успеха путем фокусировки на одном главном, простом и понятном деле, которое находится на пересечении трех кругов:

  1. в чём ты можешь быть лучшим в мире (не «хорошим», а номер 1);

  2. что позволит заработать (ключевой драйвер прибыли/денег);

  3. что тебя по-настоящему вдохновляет (страсть/смыслы).

Это не про мечты, а про честную диагностику сильных сторон и экономического потенциала. Убирает распыление и «псевдостратегию» из десятков инициатив.

Принципы:

  • Определи 1–2 «ключевых метрики», завязанных на деньги (например: прибыль на пользователя, маржа на транзакцию, LTV/CAC, выручка на сотрудника);

  • Проведи аудит: где у вас есть шанс стать №1 в своей узкой категории/нише/канале продвижения;

  • Режь проекты, которые не попадают в пересечение (даже если они «интересные»). Никакого распыления без явного успеха по ключевой инициативе.

5️⃣ Культура дисциплины

Великие компании не полагаются на героизм и контроль, они создают систему, где дисциплина встроена: люди сами делают правильно. Это сочетание дисциплинированных людей, дисциплинированного мышления и дисциплинированных действий. Бюрократия — костыль, дисциплина — операционная мышца, которую важно качать.

Даёт предсказуемость, скорость и качество без микроменеджмента.

Принципы:

  • Прозрачные ожидания и правила игры: что «норма», что «запрещено», кто принимает решения, как решать конфликты. Прозрачность системы ключ к дисциплине;

  • Регулярные ритуалы управления: еженедельный отчет для команд об успехах и неудачах, квартальные планирования, разборы неудачных кейсов без поиска виноватых;

  • Убирай «лишние согласования», но отдавай ответственность за результат. Дисциплина без ответственности не строится.

6️⃣ Маховик (Flywheel) вместо «революций»

Величие строится через накопление маленьких последовательных побед, которые усиливают друг друга. Снаружи это может выглядеть как «внезапный успех», но внутри — годы толкания маховика в одном направлении. Смены приоритетов, реорганизации и «чудо-стратегии» часто сбивают темп.

Помогает не срываться в хаотичные повороты и держать курс, пока система набирает инерцию.

Принципы:

  • Нарисуй свой маховик: 5–7 шагов причинно-следственной цепочки «делаем X → улучшается Y → растёт Z → можем делать ещё больше X»;

  • Замеряй ключевые метрики на каждом шаге, а не только финальную выручку. Деньги это важно, но это не самое важное;

  • Сократи количество «больших инициатив» и увеличь качество исполнения. Делай не «много», а «достаточно», не «быстро», а «качественно».

7️⃣ Технологии как ускоритель, а не причина

Технологии сами по себе не делают компанию великой. Великие используют технологии выборочно — как усилитель выбранной стратегии, а не как замену стратегии. «Давайте внедрим X» без ясной логики и цели — просто шум.

Защищает от дорогих игрушек, которые не дают результата.

Принципы:

  • Каждая технология должна отвечать: «какой шаг маховика ускоряет и какую метрику двигает». Технологии просто инструмент;

  • Запускай пилоты перед масштабированием — короткие, с критериями успеха определенными заранее;

  • Если технология не усиливает фокус — откладываем, даже если пропустим волну хайпа.


Подписывайтесь на телеграм-канал о профессии Product Manager — https://t.me/pm_faq

От базовых вещей до более сложных продуктовых тем. Без учебников, мотивационных лозунгов и «единственно верных» подходов — только то, что реально помогает думать и работать

Показать полностью

Глава 7: Приоритизация и принятие решений

Серия Часто задаваемые вопросы о продакт менеджменте

Приоритизация

Как выбрать, что делать в первую очередь?

1) Начни с результата, а не со списка задач

Как именно формулировать результат, подробно обсуждалось в предыдущей главе.

Краткий чек-лист результата:

  • Какой показатель изменится? На сколько? К какому сроку?

  • Почему именно этот показатель двигает бизнес?

  • Какие метрики не должны просесть (например, NPS, отказы, Retention)?

2) Собери несколько вариантов, а не один

Думай наборами: лучше провести A/B/C-тест, а не оказаться в ситуации «делать/не делать». Это снижает риск влюбиться в единственную идею. К полезным источникам вариантов относятся Opportunity Solution Tree (карта возможностей и решений) и обратная декомпозиция воронки (где «застревают» пользователи?). Под воронкой понимается основной сценарий продукта, над которым ты работаешь.

3) Оцени потенциал, уверенность и усилия

Быстрый фильтр до детальной оценки:

  • Потенциал влияния на целевую метрику.

  • Уверенность (доказательства: данные, эксперименты, экспертиза).

  • Усилия (время / команда / зависимости / риск).

Задача с высоким потенциалом и уверенностью и умеренными усилиями почти всегда является кандидатом в «первую очередь».

Такой подход к оценке и приоритизации называется ICE. Чтобы получить итоговую оценку гипотезы, нужно перемножить оценки по каждому критерию между собой.

4) Проверь последовательность и зависимости

Если фича Б «разблокирует» три другие инициативы — возможно, именно она первая, даже если её собственное влияние среднее. Планируй так, чтобы минимизировать критический путь.

5) Сократи неопределённость

Если уверенность низкая — поставь на первое место исследование или эксперимент, который за 1–2 недели даст решающее знание («убедимся, что гипотеза живая»). Это может сэкономить месяцы разработки.

Что делать первым: Первая задача — та, что с наилучшим ожидаемым вкладом в ключевую метрику с учётом зависимостей и стоимости задержки, и которую ты можешь начать прямо сейчас.

Почему нельзя делать всё?

Смена контекста. Переключение между контекстами убивает скорость и качество. Размазанная по задачам команда = слабый результат везде. Старайся не терять фокус и заниматься чем-то одним.

Стоимость задержки (Cost of Delay). Всё важное не сделаешь одновременно. То, что начнёшь позже, принесёт ценность позже — а иногда и вовсе потеряет смысл. Нужно стараться сокращать Time to Market (время от начала работ до доступности пользователям) для каждой отдельной задачи.

Поздняя обратная связь. Размытый фокус = слабая обратная связь. Когда задачи растянуты, цикл «идея → результат → выводы» удлиняется. В результате можно не сделать правильных выводов и упустить важное.

Технический и организационный долг. «Параллельный прогресс» без приоритетов умножает долги и зависимые блокировки. В процессе работы какие-то части продукта успевают устареть или измениться, что усложняет дальнейшую работу над задачей. Особенно если это что-то большое.

Вывод: делать всё — значит ничего не доводить до бизнес-эффекта. Твоя сила — в сфокусированном потоке ценности для пользователя. Старайся максимально быстро доставлять ценность и фокусироваться на задачах с максимальной ценностью.

Как приоритизировать направления?

Речь о «а куда вообще идти» — конверсия в платежи или удержание, B2B-интеграции или техническая оптимизация и т.д. Важным кажется всё, а сделать за раз можем только что-то одно. Как быть?

1) Привяжи направления к стратегии

У бизнеса есть какие-то ожидания на квартал или год. И так как задача менеджера продукта, фактически, заключается в обслуживании интересов бизнеса, релизы и развитие продукта нужно строить, исходя из бизнес-стратегии.

  • Верхний уровень: доля рынка, LTV, маржинальность, позиционирование. Что из этого важнее в рамках стратегии? Вот самым важным и нужно заниматься;

  • Ключевая метрика: какие входные метрики помогают нарастить ключевую метрику сейчас (активация, частота, разнообразие использования, UGC, supply/demand-баланс и т. п.).

2) Оцени потенциальный эффект

Для оценки эффекта существуют разные фреймворки, суть которых сводится к оценке разных критериев по каждой задаче и вычислению итоговых очков. Подробнее о популярных фреймворках для приоритизации поговорим ниже.

3) Распредели нагрузку (capacity allocation)

Заранее договорись о «рамках бэклога»: например, 70/20/10.

  • 70% — работа над ключевым сценарием / воронкой (рост, удержание, монетизация);

  • 20% — рост вширь (новые сегменты / каналы);

  • 10% — пробуем новое (эксперименты и исследования).

Так ты приоритизируешь направления до появления задач, не споря каждый спринт, «что важнее — рост аудитории или платёжная инфраструктура», а также покажешь стейкхолдерам, на что направлен твой фокус.

4) Определи конкретные цели и «критические вопросы» по каждому направлению

Не «улучшить удержание», а «+3 п. п. D30 ретеншена в сегменте новых пользователей в Q4; ключевой вопрос — где основной отток: onboarding или 1-й ключевой сценарий?».

Будь конкретен и обозначай сроки — план работ сам начнёт вырисовываться. Дедлайн — самый работающий фреймворк для приоритизации задач.

5) Пересматривай планы и стратегию

Нужно понимать, что стратегия не прибита гвоздями и может меняться в процессе. Обстоятельства быстро меняются, и то, что казалось важным в прошлом квартале, вдруг может оказаться полной ерундой.

Раз в квартал пересматривай стратегию и планы; раз в 2–4 недели пересматривай инициативы в рамках направлений по актуальным данным. Иногда самое мудрое решение — бросить начатое на середине, чем пытаться довести до конца.

Периоды для пересмотра могут быть любыми. Главное, чтобы стратегия отражала реальную ситуацию на рынке и в команде.

Какие фреймворки помогают приоритизировать задачи?

MoSCoW

Простой фреймворк распределения задач. Обычно используется на ранних этапах, когда видение продукта ещё чётко не сформулировано и непонятно, какой функционал должен входить в MVP.

Состоит из:

  • Must have. Критические требования, без которых нельзя обойтись;

  • Should have. Важные задачи следующей очереди. Без них больно, но можно прожить;

  • Could have. Можно сделать, если останется время или ресурсы. Вещи, без которых можно обойтись, но прикольно сделать;

  • Won’t have. Задачи, которые пока не планируется делать. Могут быть потенциально полезны, но на текущем этапе продукта не нужны.

Плюсы: помогает быстро создать общие ожидания.

Риски: слишком много задач в «Must have», отсутствие количественной ценности, и легко превращается в спор мнений.

Совет: перед разметкой зафиксируй жёсткие ограничения (дедлайн, ожидаемый результат) и метрики успеха; «Must have» — это задачи, которые реально критичны для достижения цели/срока. Подробнее.

ICE

Используется для быстрого отсева гипотез.

Формула:

ICE = Impact × Confidence × Effort

Где:

  • Impact — ожидаемый эффект на ключевую метрику (оценка от 1 до 10);

  • Confidence — уверенность в Impact (данные / тесты / экспертиза; оценка от 0,1 до 1, где 1 — это 100% уверенность);

  • Effort — человеко-недели / сложность (чем меньше, тем выше ICE-score).

Риски: не учитывает охват аудитории (Reach), Impact «на глаз», оценки актуальны только в момент их проставления.

Совет: периодически переоценивай весь список гипотез, так как в процессе работы будет появляться контекст, влияющий на скоринг.

RICE

Чаще всего используется при формировании дорожных карт, квартальных планов и для сравнения фич разного масштаба.

Формула:

RICE = (Reach × Impact × Confidence) / Effort

Где:

  • Reach — скольких пользователей коснётся за период (шт. / % / сессии);

  • Impact — влияние на поведение / метрики (0,25 / 0,5 / 1 / 2 / 3, где 3 — это коэффициент максимального влияния);

  • Confidence — уверенность 0–100% (или 0,1–1);

  • Effort — человеко-недели / месяцы.

Риски: двойной учёт (Impact и Reach об одном и том же), оценки необъективны.

Совет: привяжи охват (Reach) к надёжному источнику, конкретно опиши, какая оценка Impact чему соответствует, с примерами.

Модель Kano

Что: классификация атрибутов ценности: Обязательные (Must-be), Ожидаемые (Performance), Восхищающие (Delighters), Нейтральные (Indifferent) и Негативные (Reverse).

Используется при упаковке ценности для пользователя. Например: на этапе проектирования MVP, на этапе определения стратегии маркетинга или при редизайне продукта.

Фреймворк помогает понять, почему «вау-фичи» не заменяют «базовую гигиену».

Риски: требуются корректные опросы и интервью; категории смещаются со временем (Delighter → Must), долго и дорого.

Совет: пересматривай классификацию раз в 6–12 мес., соотноси с метриками успеха. Подробнее о модели Kano.

На мой взгляд, подход устарел, и лучше использовать полный фреймворк JTBD, который включает в себя приоритизацию ценности в виде дерева / графа работ.

Оценка возможностей (Opportunity Scoring)

Фреймворк помогает найти точки роста на основе обратной связи от пользователей продукта. Пользователи оценивают важность и удовлетворённость по сценариям / JTBD. Возможности рождаются там, где высокая важность и низкая удовлетворённость. Эти сценарии нужно оптимизировать в первую очередь, так как они дадут максимальный эффект.

Когда: выбор направлений улучшений в существующем продукте.

Плюсы: явно показывает «дыры» в опыте.

Риски: неверная выборка, неподходящие формулировки вопросов, отрыв от метрик дохода.

Совет: связывай «дыры» с поведенческими данными (аналитика / воронки), валидируй сегментами. Подробнее.

Принятие решений

Как принимать решения, когда есть несколько сильных альтернатив?

Шаг 0.  Обратимость решения и возможные риски

Прежде чем принимать решение о том, какой путь выбрать, нужно определить, какой вариант можно будет безболезненно «откатить». Тут всё просто. Если что-то можно попробовать без последствий и потом вернуть всё как было, то нужно это пробовать.

Дальше нужно оценить «радиус поражения» в случае ошибки. Чем больше риски и последствия, тем тщательнее нужно расписать план релиза и возврата.

Как видишь, даже имея на руках сильные варианты, нельзя быть на 100% уверенным в правильности выбора.

Шаг 1. Чёткая формулировка задачи

Конкретно определи цель, критерии успеха и ограничения. Выбирай только то решение, которое максимально соответствует поставленной формулировке.

Шаг 2. Критерии для сравнения

Сравни решения между собой, чтобы точнее определить лучший вариант. Например:

  1. Ожидаемое влияние на ключевую метрику или цель квартала;

  2. Скорость получения результата (за сколько недель получим надёжный сигнал об успехе или неудаче);

  3. Стоимость / усилия (как финансовые, так и человеческие ресурсы);

  4. Возможные риски разного рода;

  5. Соответствие долгосрочной стратегии.

Эти критерии помогут детальнее понять сильные и слабые стороны каждой гипотезы.

Шаг 3. Скоринг

Используй фреймворки для приоритизации. Например, RICE. Или, используя список критериев выше, оцени каждую гипотезу по пунктам, например по пятибалльной шкале. Сложи получившиеся баллы и приоритизируй гипотезы по получившимся очкам.

Шаг 4. Когда всё еще ничья

К этому шагу редко бывают сомнения в самом лучшем решении из списка гипотез, но если вдруг определиться так и не получается, то можно начать задавать себе абстрактные вопросы, которые могут помочь определиться.

  • Какая альтернатива создаёт больше будущих опций / знаний? Какое решение более масштабируемое?

  • Если через год окажется, что мы ошиблись — о каком невыбранном варианте ты пожалеешь сильнее?

  • Представь, что решение провалилось. Почему? Что бы ты изменил сейчас?

Когда применять AARRR-анализ?

Pirate Metrics, или AARRR (Acquisition — привлечение → Activation — активация → Retention — удержание → Revenue — выручка → Referral — рекомендация), — стандартная воронка, подходящая под большинство продуктов. Позволяет определить зоны роста.

Иногда букв «A» бывает три. Это Awareness (осведомлённость) — самый верх воронки. Говорит о знании бренда/продукта. Пользователи знают, что вы, как решение, существуете.

Применяй AARRR, когда:

  • Диагностируешь стагнацию/просадку: где именно «падает» рост — в привлечении, активации или удержании? Разбивай продукт на стримы (они же направления) и смотри, в каком самые большие потери. Обычно принято начинать с верха воронки;

  • Выстраиваешь метрики на стадии поиска Product-Market Fit (PMF, соответствие рынку): надо просто и одинаково назвать этапы и посчитать базовые конверсии, чтобы определить, насколько продукт интересен пользователям. Если отваливаются на самом верху воронки, то либо интерес крайне низкий, либо что-то сломалось на лендинге (и так бывает);

  • Проектируешь эксперименты: каждая гипотеза должна чётко бить в конкретную ступень воронки. Так проще группировать гипотезы и определять приоритеты;

  • Распределяешь зоны ответственности: маркетинг, продукт, аналитика, поддержка чётко должны понимать, на какую часть воронки они влияют.

Как считать, чтобы не обмануться:

  • Разбивай пользователей на когорты, а не бери средние значения;

  • Определи ключевые действия и, соответственно, метрики для каждого шага воронки: что такое Activation (первый «value moment», осознание ценности), что считаем Retention (D1/D7/WAU-retention);

  • Привяжись к деньгам: Retention без Revenue часто даёт ложный оптимизм. Задача бизнеса — максимизировать прибыль. Если Retention растёт, а денег нет, то толку от высокого удержания никакого;

  • Определи «красные линии» или «сторожевые» метрики: процент отказов, время ответа, скорость загрузки, количество жалоб и т. д. — чтобы не выжигать продукт. Зарабатывать — это хорошо, но совсем выдаивать продукт недальновидно.

Альтернатива:

Пиратская воронка линейна, что не всегда даёт правильное представление о пользовательском пути. Для некоторых сфер лучше оперировать не воронками, а циклами (социальные сети, UGC-площадки, маркетплейсы). Причём не одним циклом, а сразу несколькими. В качестве альтернативы AARRR можно попробовать Growth Loops. Или вообще комбинировать оба подхода. AARRR покажет «где течёт», циклы — «как/почему растёт».

Прозрачность решений

Как документировать и объяснять свои решения команде и стейкхолдерам?

1. Начинай с контекста

Прежде чем говорить, что нужно сделать, расскажи, почему.

Пример: «Мы выбрали запуск фичи A, потому что она решает ключевую боль сегмента X. Мы сравнивали её с фичей B, но у последней ниже ожидаемый эффект по метрике Retention D1. Решение опирается на результаты опроса и эксперимент Y.»

В идеале в каждой задаче или эпике стоит описывать контекст. Это полезно не только для команды, но и для тебя. Через какое-то время ты и сам забудешь, почему было принято именно такое решение и почему тогда это было правильным вариантом.

2. Описывай контекст понятным и доступным

Нет нужды в сложных шаблонах и подробных объяснениях — чаще всего достаточно короткой структурированной заметки: небольшой абзац со всей важной информацией.

Контекст: зачем принимается решение, какими были цели (бизнес-, пользовательские), на чём основано решение (данные, инсайты, ограничения);

Альтернативы: какие альтернативы рассматривались и почему были отброшены;

Выбор: что и почему выбрано;

Планы: в какую сторону планируется развивать решение.

Можно вести такие записи в Notion, Confluence или даже в Slack-тредах. Главное — чтобы они были доступны всем участникам команды в любой момент.

3. Общайся на одном языке

С командой — объясняй логику решений через призму ценности для пользователя и целей продукта. Это мотивирует команду и даёт понять «зачем». Важно доносить цели и мотивацию своих решений.

Со стейкхолдерами — подчёркивай бизнес-обоснование, выгоду и связь с целями бизнеса. Это выстраивает доверие. Ты не просто создаёшь видимость работы, а решаешь бизнес-задачи.

Как держать команду в фокусе?

1. Повторяй цели

Рассказывай и напоминай о целях. Даже когда кажется, что все уже знают. Тебе несложно повторить. Делай это столько раз, сколько требуется. Фокус не держится автоматически. Его нужно регулярно обновлять. Начинай спринты, созвоны, обсуждения с напоминания о краткосрочных целях. И хотя бы раз в квартал говори о долгосрочных планах продукта и компании.

Регулярное проговаривание цели помогает отсекать шум и синхронизирует мышление команды.

2. Работай с «почему», а не только с «что»

Когда команда понимает, почему делается та или иная фича, она может самостоятельно принимать более точные решения в деталях реализации. Это добавляет осознанности и снижает зависимость от тебя как от единственного источника истины.

Все попытки согласовывать с тобой каждую мелочь нужно пресекать. Не поощряй такое поведение команды. Ничем хорошим это не кончится.

3. Визуализируй прогресс

Доски целей, дашборды, просто слайды и даже таблицы — любая наглядность помогает держать внимание. Особенно если ты связываешь текущие задачи с целевой метрикой.

Например: «Вот график retention. После запуска новой онбординговой фичи он подрос на 2 п. п. Двигаемся в верном направлении».

Как проверять, что решение было верным?

1. Не делай фичи ради фич

Правильное решение принимается задолго до непосредственного решения. Звучит как дурость, но важно понимать, что так называемый «фичизм» — это плохой паттерн. Ты не должен «делать фичу X». Должно быть: «фича X увеличит Retention на +3 п. п. среди сегмента Y за 2 недели после релиза».

Ты не можешь принять правильное решение по определению, если ты не решал какую-то конкретную задачу. Формируй ожидаемый результат и оценивай решения по соответствию фактического результата ожидаемому.

2. Перепроверяй решения

У каждого решения должен быть «контрольный рубеж». Хотя бы раз после внедрения нового функционала или изменения старого нужно убедиться, что метрики не изменились, всё работает, как и задумано, и пользователям всё ещё удобно это решение. Продукт живёт в вечно меняющемся контексте. И решения, которые месяц назад были верными, в новом контексте могут оказаться ошибочными.

Критерии перепроверки могут быть абсолютно любые. Например:

  • через 2 недели после релиза;

  • после накопления 1000 MAU;

  • при достижении определённой фазы проекта.

Без точки пересмотра можно легко попасть в ловушку самоуспокоенности: «ну, мы же сделали».

3. Говори об ошибках открыто

Если решение оказалось неверным — важно не искать виноватых, а зафиксировать, что мы узнали. Делай выводы, а не ищи оправдания.

Пример:

«Мы ожидали рост метрики, но получили падение. Анализ показал, что новая фича перегрузила первый экран. Учтём это при следующих итерациях.»

Прозрачное обсуждение промахов делает команду и продукт сильнее. Главное — создавать безопасную среду для таких разговоров.

Итог седьмой главы

  • Цели должны быть чётко сформулированы: метрика, сегмент, срок и ключевой вопрос, на который ищем ответ.

  • Никогда не держись за одну идею — думай наборами альтернатив. Это снижает риск ошибочного выбора.

  • При слабой уверенности приоритизируй исследования и эксперименты.

  • Делать всё одновременно — значит терять фокус, замедляться и получать позднюю обратную связь.

  • Направления развития нужно приоритизировать от стратегии бизнеса, а не от шума в бэклоге.

  • Стратегия и приоритеты обязаны пересматриваться регулярно — фиксироваться на устаревшем плане опаснее, чем менять курс.

  • При выборе между сильными вариантами сначала оценивай обратимость решения и «радиус поражения».

  • Любое решение должно быть прозрачно задокументировано: контекст → альтернативы → выбор → дальнейшие планы.

  • Команда держит фокус не сама по себе — его нужно постоянно проговаривать и визуализировать.

  • Сильный продакт объясняет «почему», а не микроменеджерит «что».

  • Фича без гипотезы — ошибка по определению. Сначала ожидаемый эффект, потом реализация.

  • Ошибки — это полезно, если их фиксировать и обсуждать открыто, а не замалчивать.


То же самое в формате тг-канала. Сначала будет выходить там отдельным постами по чуть-чуть, потом здесь большой статьей.

Показать полностью
3

Продолжение поста «Глава 6: Метрики и аналитика»1

Серия Часто задаваемые вопросы о продакт менеджменте

Предыдущие статьи:

Работа с результатом

Как формулировать ожидаемый результат?

Сначала результат, потом гипотезы

Твоя работа как продакт-менеджера заключается не в генерации гипотез, а в поиске решений для получения результата. Кажется, что разница небольшая, но с такой формулировкой фокус смещён на нужную область. Это уже озвучивалось ранее, но мне кажется важным повторить ещё раз: фичи сами по себе никому не нужны. Не нужно вводить функциональность ради функциональности. Внося любое изменение в продукт, ты должен понимать, какой эффект ты надеешься получить. То есть ещё до генерации гипотез должен быть сформирован ожидаемый результат.

  1. Определи цель. Часто это влияние на какую-то продуктовую метрику;

  2. Выдели сегмент аудитории, для которой хочешь изменить метрику;

  3. Определи, какой именно эффект хочешь получить. Например, увеличить Retention D1 до 10%;

  4. Сформулируй гипотезы.

Сначала результат, потом гипотезы. Не наоборот. Гипотеза — это инструмент решения задачи, а не сама задача. Представь, что тебе нужно забить гвоздь на 5 сантиметров. Твоё предположение, что это можно сделать молотком. Вот молоток и есть гипотеза.

Реальная практика, конечно же, суровее теории. Будут возникать ситуации, когда ты можешь определить метрику, на которую хочешь повлиять, но твоя цель — получить положительные статистически значимые изменения. Работа над зрелыми продуктами только так и складывается. Такой подход тоже работает, пусть и конкретики меньше. Но даже так сохраняется принцип «результат первичнее гипотез».

Шаблон ожидаемого результата

Для [сегмент/персона] в [сценарий/этап пути] мы добьёмся [изменения поведения], что приведёт к [бизнес-эффекту], измерим через [набор метрик], влияя на [ключевую метрику] через изменение [метрики влияния], при этом соблюдаем [ограничения].

Пример:

«Для новых пользователей на онбординге добьёмся роста активации с 38% до 45%. Измеряем: Ключевая метрика (Primary) — Activation, Метрики влияния (Input) — процент завершения онбординга, Time-to-Value; Ограничения — Retention D7 не ниже 24%, Отказы не ниже 10%.»

Корзина метрик

  • Primary (North Star/целевая метрика): одна главная метрика результата;

  • Input/метрики влияния: рычаги, на которые ты реально можешь повлиять;

  • Guardrails/ограничения: что не должно ухудшиться (удержание, отказоустойчивость, маржинальность и т. д.).

Итого

Ожидаемый результат должен быть:

  • Измерим и конкретен: (%, per user, per cohort), а не «сумма за всё время»;

  • Основан на ключевой метрике эксперимента;

  • Иметь цель, определённые показатели успеха;

  • Привязан к сегменту и сценарию.

Пример плохого ожидаемого результата: «+20% MAU».

Как интерпретировать результаты?

Тут в вопросе небольшой обман. Под интерпретацией результата на самом деле подразумевается валидация данных. Если ты уверен в точности полученных метрик и в их правдивости, то сможешь сделать правильные выводы. Иду на этот обман осознанно, чтобы донести мысль: не делай выводы на данных, в достоверности которых не убеждён.

Правдивая формулировка вопроса скорее «Какими данные должны быть, чтобы правильно интерпретировать результат». Именно на этот вопрос я и отвечаю ниже.

Пять вопросов к любому результату

Ниже перечислены важные вопросы к результату, а в скобках указано, что нужно проверить, чтобы убедиться, что всё в порядке.

  1. Измерили ли мы то, что хотели? (валидность метрики, корректность ивентов);

  2. Насколько велик эффект? (абсолютный прирост, относительный %, effect size);

  3. Данные надёжны? (доверительные интервалы, статистическая мощность, риск ошибки; Sample Ratio Mismatch исключён?);

  4. Нет ли предвзятости и противоречий в данных? (есть ли честный контроль; не перепутали сезонность/каналы/миграции?);

  5. Учтены внешние эффекты? (не «съели» ли другие показатели: монетизация, стабильность, NPS; нет ли сезонности?).

Основная сложность в том, что без достаточного опыта в подсчётах крайне сложно ответить на любой из этих вопросов. Поэтому и существует столько разновидностей аналитиков. Работа с данными и интерпретация результатов — сложная и очень важная профессия.

Быстрый чеклист для проверки данных

  • Проверь Sample Ratio Mismatch: доли трафика в группах соответствуют плану? Они распределены как задумано? Например, 50/50 для A/B-теста;

  • Event-аудит: нет ли потерянных/дублированных событий? Уверен в источнике данных?

  • Не навреди: метрики ограничений в норме?

  • Переобучение/новизна: эффект не угас через 2–3 недели? Посмотри на ключевую метрику в динамике за период эксперимента и после его завершения.

Сегментация

Смотреть на результат «в среднем по больнице» категорически нельзя. Метрики в общем смысле могут вырасти, но при этом «обвалиться» по важным сегментам.

Обязательно посмотри, как отреагировали на изменение новые и старые пользователи. Может оказаться, что метрики для текущей базы сильно просели и не вернулись в прежнее состояние. Это может привести к оттоку действующих пользователей. Проседание метрик у текущих пользователей — нормальное явление на старте. Не делай выводы до завершения эксперимента.

Какие сегменты можно выделить дополнительно:

  • по источникам трафика;

  • платящие / неплатящие;

  • по устройствам / операционным системам;

  • по географии (страны, регионы, города).

Все эти сегменты могут по-разному реагировать на одно и то же изменение в продукте. Всем, конечно, не угодишь, но для правильных выводов нужно понимать, как ты повлиял на разные группы пользователей.

Unit-экономика

Совсем хорошо посчитать unit-экономику для каждого сегмента. Unit-экономика может «зарубить» позитивное изменение ключевой метрики, потому что вдруг окажется, что доходы упали по важным или вообще по всем сегментам.

Итого

Чтобы сделать правильно интерпретировать результаты:

  1. убедись в достоверности данных;

  2. делай выводы по каждому сегменту отдельно;

  3. определи влияние на финансовые метрики.

Что делать, если данные неочевидны?

Бывает так, что после эксперимента ключевая метрика стала хуже, и совсем непонятно, почему это произошло. Метрика могла даже вырасти, но найти причины этого с первого взгляда не получается. Данные нередко бывают неочевидны.

Посмотри с разных сторон

  • Исследуй воронку и найди шаг, на котором больше «отваливаются» пользователи. Пройди путь пользователя сам или попроси друзей/коллег и понаблюдай;

  • Исследуй сценарий пользователя с помощью вебвизора или тепловых карт кликов для разных устройств. Возможно, есть что-то, что мешает пользоваться продуктом;

  • Интервью / опросы: поговорить с пользователями всегда полезно.

Сделай метрику чувствительнее

  • Перейди от «в среднем» к метрикам «на пользователя / на сессию»;

  • Смотри DAU/MAU вернувшихся юзеров и медиану вместо среднего, если распределение с длинным хвостом;

  • Введи ранние индикаторы (leading): время до перехода в ключевой сценарий, реферальный эффект, успешные установки.

Управление шумом и мощностью

  • Увеличь период наблюдения или размер выборки;

  • Раздели пользователей на однородные сегменты (один тип устройства, схожий возраст, схожий доход и т. д.);

  • Используй квази-эксперименты (до–после, синтетический контроль), если A/B невозможен;

  • Сформулируй решение при неопределённости: «Если прирост > X — раскат; если в [Y; X] — доэксперимент / улучшение дизайна; если < Y — откат».

Не бойся менять вопрос

Иногда ответ «неочевиден» потому, что вопрос был неправильным. Возвращайся к самому началу: какую поведенческую переменную ты хочешь сдвинуть? Возможно, ключевая метрика (North) была выбрана неверно, и вместо того чтобы искать ответ, нужно просто начать эксперимент заново, выбрав другие метрики.

Как избежать ловушек (vanity metrics)?

Vanity-метрики, или метрики тщеславия, красиво растут, но мало что решают: «всего регистраций», «всего скачиваний», «просмотры» без контекста, «лайки». Они:

  • кумулятивны (легко растут);

  • не нормированы (ни к чему не привязаны);

  • слабо связаны с ценностью и деньгами;

  • легко манипулируемы.

Проще говоря, такие общие метрики вообще никак не отражают качество продукта и его удобство. В твоём продукте может быть бешеное MAU, но при этом все эти пользователи проводят в продукте меньше минуты и никогда не возвращаются. И какой смысл от большого MAU тогда?

Принципы анти-vanity

  • Нормируй: per user / per session / per cohort / per exposure (на контакт);

  • Привязывай к поведению: activation, retention, frequency (частота), depth (глубина), conversion (конверсия);

  • Следи за качеством: ARPU или ARPPU, LTV или CAC, churn (отток), payback (окупаемость), margin (маржа);

  • Ставь ограничения: retention, отказоустойчивость, количество жалоб, возвраты средств;

  • Избегай усреднений в тяжёлых хвостах: медиана и P75 (75-й процентиль) часто информативнее среднего.

Что использовать вместо vanity-метрик?

❌ Зарегистрировано всего
✅ Activation D1/D7, Процент завершения онбординга, Time-to-Value

❌ Просмотры страниц
✅ Конверсия по воронке, CTR в ключевое действие, Количество страниц за сессию

❌ Установки
✅ Доля запусков приложения после установки, Retention D1/D7, CAC

❌ Лайки/реакции
✅ Количество активных авторов, количество популярных публикаций

❌ MAU в целом
✅ DAU/MAU активной аудитории, WAU на когорту, доля вернувшихся от общего MAU

Мини-чеклист

Перед стартом эксперимента

  • Ожидаемый результат сформулирован по шаблону, понятен сегмент/сценарий;

  • Корзина метрик: ключевая + влияния + ограничения, единицы измерения нормированы;

  • Гипотезы и риски записаны, метод измерения согласован (A/B, квази и т. д.);

  • Ты уверен в источнике данных, распределение групп эксперимента контролируется.

После получения результата

  • Эффект: абсолютный и относительный, с доверительным интервалом;

  • Валидация причинности и контроль фоновых факторов (сезонность, источники привлечения, релизы в продукте);

  • Сегментация: где эффект концентрируется / исчезает;

  • Метрики ограничений в норме, внешних издержек нет;

  • Решение и следующий шаг: раскат / итерация / откат; обнови приоритеты и карту метрик;

  • Зафиксируй результаты эксперимента: контекст → гипотеза → метод → результат → решение → что делать иначе в следующий раз.

Итог шестой главы

  • North Star Metric — главная метрика продукта, отражающая ценность для пользователя и коррелирующая с бизнес-результатами;

  • Фреймворк HEART (Happiness, Engagement, Adoption, Retention, Task Success) — удобная структура для выбора релевантных метрик;

  • Leading и Lagging метрики — нужно балансировать между предсказывающими и фиксирующими результат показателями;

  • Источники данных — количественные (аналитика, CRM, финансы, логи) и качественные (интервью, саппорт, продажи); важно интегрировать их в единый «источник правды»;

  • Метрики для новых функций — сначала цель, затем ключевая метрика, связанные показатели, сроки и критерии успеха;

  • Если аналитики нет — начать с 3–5 базовых метрик и коробочных систем (Яндекс.Метрика, AppMetrica), постепенно выстраивая культуру работы с данными;

  • Главные ошибки — гонка за vanity-метриками, игнорирование целостной картины, отсутствие сегментов, подгонка целей под результат;

  • Вовлечённость — измеряется частотой, глубиной и регулярностью использования продукта, а не просто «временем в приложении»;

  • Retention — зеркало вовлечённости, отражает возвращаемость за ценностью и напрямую связано с монетизацией (LTV);

  • Поведение = доход — выручка растёт через активацию, глубину использования, удержание и сегментацию пользователей;

  • Интерпретация результатов — важна достоверность данных, проверка эффекта, сегментация и влияние на юнит-экономику;

  • Неочевидные данные — нужно копать глубже: анализировать воронку, интервьюировать пользователей, смотреть медианы, увеличивать выборку;

  • Vanity-метрики — опасны, так как не отражают реальную ценность. Их заменяют нормированные и поведенческие показатели (activation, retention, ARPU и др.).


То же самое в формате тг-канала. Сначала будет выходить там отдельным постами по чуть-чуть, потом здесь большой статьей.

Показать полностью

Глава 6: Метрики и аналитика1

Серия Часто задаваемые вопросы о продакт менеджменте

Предыдущие статьи:

Основы метрик

Какие инструменты использовать?

Список инструментов неполный. Тут перечислено только то, что мне приходилось использовать в работе. Плюс упор делается на пользу для продакт-менеджера, а не в целом для индустрии.

Системы веб-аналитики

Яндекс Метрика — на мой взгляд, на российском рынке это ключевой и обязательный инструмент для базовой аналитики вашего продукта в вебе. Достаточно добавить код счётчика — и у вас в руках вся ключевая аналитика продукта «из коробки»: источники трафика; поведенческие метрики; записи сессий; карта кликов; пол, возраст и география пользователей. И всё это без какой-либо дополнительной настройки. Если в команде нет аналитика, то это вообще must-have.

Google Analytics 4 — злобный брат-близнец Метрики. Инструмент мощный, но пользоваться им больно. За рубежом остаётся базовым инструментом для понимания поведения пользователей. Рекомендую подключить счётчик и использовать для «сверки часов», периодически поглядывая, что GA тебе показывает. В Google Аналитике удобно строить воронки и считать конверсии, так как все данные строятся от уников, а не визитов, как в Метрике.

BI и визуализация данных

Системы веб-аналитики хоть и настроены «из коробки», но они собирают не весь набор данных. Да и не всё хочется им передавать, так как данные о продукте будут храниться не на ваших серверах, а у Яндекса или Google. Тут на помощь придут BI-системы, позволяющие объединять в одной системе данные из разных источников, в том числе и из веб-аналитики. В таких инструментах в одном отчёте могут быть и метрики продукта, и данные из биллинга, и даже сведения о сотрудниках. Вообще всё, что только потребуется для аналитики бизнеса. Большой плюс — это полный доступ к данным и широкая кастомизация визуализации.

Tableau — для глубокой аналитики и красивых дашбордов. Если у тебя есть аналитик, это мощнейший инструмент для исследования и визуализации данных. Стандарт в иностранных компаниях.

Power BI — более доступная альтернатива от Microsoft. Хорошо интегрируется с экосистемой Office и Azure. На данный момент используется только настоящими олдами бизнес-аналитики.

Redash — селф-хост система визуализации данных с открытым исходным кодом. На мой взгляд, на этом плюсы закончены. Инструмент стал очень актуальным и популярным в последние годы, но сам по себе он очень тормозной и с рядом ограничений — и по количеству данных, и по возможностям их вывода. Например, воронки там визуализировать «из коробки» нельзя.

DataLens — BI-система от Яндекса. Очень простая, но довольно функциональная. Тут тоже хватает ограничений для визуализации, но их меньше, чем у Redash. Отчёты красивые, грузятся быстро.

Looker (теперь часть Google Cloud) — отличается своим подходом к моделированию данных. Технологичный, мощный и быстрый инструмент. Но, увы, официально в России недоступен.

Специализированные инструменты

Список того, что скорее всего тебе не понадобится, но будет полезно знать, что оно существует.

ClickHouse — тоже инструмент из стандартного набора для аналитики продукта на российском рынке. Пользуются ли за рубежом — не знаю. Но в наших краях встречается в каждой второй компании. Используется для сбора и хранения «сырых» данных по продукту. Туда за данными ходить только со знанием SQL, потому что хранение табличное, без визуализации.

AppMetrica — если коротко, это как Яндекс.Метрика, но для нативных приложений.

Grafana — визуализация технических данных о работе продукта: скорость загрузки и время ответа сервера, ошибки по работе микросервисов и т. д. Место обитания DevOps- и backend-инженеров.

OpenTelemetry — инструмент для записи и визуализации трейсов (путей запросов). Классная вещь для отслеживания взаимодействия микросервисов друг с другом. Обычно используется для отладки. Инструмент сугубо технический.

Как выбирать ключевые метрики для продукта?

Начни с North Star Metric

Каждому продукту нужна одна главная метрика — North Star (буквально — Полярная звезда, которая используется как ориентир для нахождения севера без компаса). Она должна отражать ценность, которую продукт приносит пользователям. Например, для Spotify это время прослушивания, для Slack — количество отправленных сообщений, а для Telegram — количество активных пользователей за период (например, MAU — активные пользователи за месяц).

Критерии хорошей North Star метрики:

  • Отражает создаваемую пользователю ценность;

  • Коррелирует с бизнес-результатами;

  • Может быть улучшена всеми командами, работающими над продуктом;

  • Измерима и понятна всем.

Используй пирамиду метрик

Представь набор метрик как пирамиду:

  • Верхний уровень (North Star) — одна главная метрика, её обсудили выше;

  • Средний уровень (Primary) — 3–5 ключевых метрик, влияющих на North Star;

  • Базовый уровень (Secondary) — детализированные метрики для конкретных функций продукта.

Например, для маркетплейсов:

  • North Star: выручка на пользователя (Average Revenue per User, она же ARPU);

  • Primary: конверсия в покупку, количество заказов на пользователя, Retention (удержание);

  • Secondary: процент «брошенных корзин», скорость загрузки страниц, время ответа поддержки.

Применяй фреймворк HEART от Google:

В скобках указаны примеры метрик.

  • Happiness — удовлетворённость пользователей (NPS, уровень удовлетворённости);

  • Engagement — вовлечённость (DAU/MAU, длительность сессии);

  • Adoption — принятие новых функций (feature adoption rate — процент использования какой-либо фичи в продукте);

  • Retention — удержание (retention, процент оттока);

  • Task Success — успешность выполнения задач (Time to Market — скорость доставки до пользователей; количество багов в продукте).

Для каждой категории выбери 1-2 метрики, наиболее релевантные твоему продукту. Подробнее.

Баланс между leading и lagging индикаторами

Lagging (буквально — лагающие) метрики показывают результат (выручка, отток — churn rate). Они важны для понимания итогов, но картина по ним ясна не сразу, с задержкой.

Leading (ключевые) метрики предсказывают будущие результаты (активировали пробный период, платящие пользователи, ядро аудитории). Они помогают принимать проактивные решения здесь и сейчас.

Идеальный набор метрик включает оба типа. Например, если ты видишь падение вовлечения (engagement — leading-метрика), можешь предугадать будущий рост оттока (churn — lagging-метрика).

Какие источники данных использовать?

Для более полной аналитики и правильных выводов использовать нужно несколько источников сразу. Какие источники бывают:

  • Встроенная аналитика продукта (события, логи, платежи);

  • CRM и биллинг (чтобы видеть реальные транзакции и поведение клиентов);

  • Поддержка и обратная связь — тикеты, комментарии, соцсети. Иногда данные о качестве (они же — фидбек пользователей) важнее цифр;

  • Маркетинговые каналы — рекламные кабинеты, UTM-метки, трекинг кампаний;

  • A/B-тесты — источник причинно-следственных связей, а не просто корреляций.

Какие метрики «лежат» в этих источниках:

  1. Платёжка и биллинг: выручка (Revenue), ARPU/ARPPU, возвраты, налоги, комиссии;

  2. Маркетинг/атрибуция: каналы, CAC (стоимость привлечения), payback (возвраты средств), ROAS (возвращаемость рекламных затрат), доля органического трафика;

  3. CRM/саппорт: количество обращений, причины оттока, сегменты клиентов, SLA (уровень обслуживания);

  4. Качественные источники: интервью, дневниковые исследования, in-product опросы (NPS — индекс лояльности к бренду, CES — индекс усилий);

  5. Наблюдаемость/логирование: производительность, ресурсоёмкость, стабильность;

  6. Открытые источники/бенчмарки: отчёты рынка, анализ отзывов на приложение, общение с комьюнити.

Правило 70/20/10: 70% решений — на поведенческих данных, 20% — на качественных инсайтах, 10% — на рыночных референсах — позволит держать идеальный баланс контекста для принятия решений.

Количественные источники

  • Продуктовая аналитика — основной источник поведенческих данных. События, воронки, когорты — всё, что нужно для понимания того, как пользователи взаимодействуют с продуктом;

  • Финансовые системы — для бизнес-метрик. CRM, биллинговые системы, accounting software. Здесь живут данные о revenue, LTV, CAC;

  • Технические логи — для метрик производительности и надёжности. Server logs, error tracking systems, performance monitoring;

  • Внешние источники — рыночная аналитика, конкурентная разведка, макроэкономические показатели. Помогают понимать контекст.

Качественные источники

  • Пользовательские интервью — золотая шахта инсайтов. Регулярные интервью с пользователями дают контекст к цифрам. Рекомендую проводить минимум 5 интервью в месяц;

  • Данные из поддержки — тикеты, логи чатов, FAQ. Здесь видны реальные проблемы пользователей;

  • Отдел продаж — они на передовой, знают возражения клиентов и причины отказов;

  • Записи визитов пользователей — наблюдение за тем, как пользователи взаимодействуют с продуктом в реальном времени.

Интеграция источников данных

Самая большая проблема не в недостатке данных, а в их разрозненности. У тебя обязательно должен быть единый источник правды, объединяющий разные источники в одном месте — главный дашборд/отчёт по продукту, который ты можешь смотреть каждый день.

Как выбирать метрики для новых функций?

  1. Определи гипотезу — чего мы хотим достичь? (например, увеличить удержание на 7‑й день);

  2. Выбери ключевую метрику — ту, по которой будет приниматься решение о релизе;

  3. Добавь связанные метрики продукта — чтобы новая функция не ухудшила другие важные показатели;

  4. Определи срок — установи, когда функция должна показать эффект (неделя, месяц и т. д.).

  5. Протестируй измеримость — часто при релизе метрики оказываются не привязаны к событиям, и ты получаешь «чёрную дыру» в аналитике.

Определи цель функции

Перед запуском новой функции чётко сформулируй, какую проблему она решает. Это определит тип метрик:

  • Экономят время — измеряй время выполнения сценария, конверсию в последний шаг воронки;

  • Увеличивают использование — adoption rate, частота использования;

  • Приносят доход — конверсия в оплату, ARPU;

  • Удерживают пользователей — retention, churn impact.

Используй трёхуровневую систему метрик

Level 1: Внедрение

  • Сколько пользователей обнаружили функцию;

  • Сколько попробовали использовать;

  • Сколько смогли успешно завершить первое использование.

Level 2: Вовлечение

  • Daily/Weekly Active Users; 

  • Частота использования;

  • Количество созданных элементов (постов, добавленных товаров в корзину, комментариев и т. д.).

Level 3: Влияние на бизнес метрики

  • Основные продуктовые метрики;

  • Ретеншн;

  • Выручка.

Сформулируй план до начала разработки

  • Как сейчас — зафиксируй текущее состояние ключевых метрик перед запуском;

  • Критерии успеха — определи конкретные цифры успеха. Например: «30% пользователей попробуют функцию в течение первого месяца»;

  • Перепроверка результата — когда и как часто будешь анализировать метрики. Например: ежедневно первую неделю, раз в неделю — первый месяц, раз в месяц — долгосрочный анализ.

A/B тестирование новых функций

Если продукт большой, не запускай функции сразу для всех пользователей.

«Раскатывай» постепенно:

  • Доступ только для команды продукта — проверка базовой функциональности на настоящих данных;

  • Бета‑тест на ограниченной группе пользователей — 1–5% пользователей;

  • Постепенное расширение сегмента — 25% → 50% → 100%.

На каждом этапе анализируй метрики и готовься к откату (rollback), если что-то идёт не так.

На небольшом продукте с маленькой активной аудиторией второй этап можно пропустить. А иногда и третий, если совсем небольшой продукт. Тут главное — быть уверенным, что новая фича ничего не ломает в продукте. А это не всегда можно выявить на тестовых стендах.

Как внедрить аналитику, если сейчас её совсем нет?

Подобная ситуация может встречаться в стартапах. Продукт есть, а никакой аналитики по нему ещё нет. Более того, культуры смотреть на цифры может не быть.

Начни с малого

Не пытайся построить идеальную систему метрик сразу. Начни с 3–5 ключевых показателей, которые действительно влияют на принятие решений. Постепенно расширяй список по мере роста зрелости команды.

Самый простой способ получить первую аналитику — подключить коробочную систему аналитики (Яндекс.Метрика, AppMetrica — как вариант).

Создай культуру данных

Метрики работают, только если вся команда их понимает и использует. Проводи data reviews, обучай команду интерпретации данных, празднуй успехи в достижении целевых показателей.

Не забывай про контекст

Цифры без контекста — это просто цифры. Всегда анализируй внешние факторы: сезонность, маркетинговые кампании, изменения на рынке. Старайся разобраться, почему метрика изменилась. Даже если она растёт, ты должен понимать, почему.

Какие главные ошибки при работе с аналитикой?

  • Гонишься за vanity-метриками (метриками тщеславия). Просмотры без их качества ≠ ценность. Одним словом, большое MAU вообще ничего не говорит о качестве продукта;

  • Не смотришь на метрики по всему продукту. Улучшил клик на баннер — уронил удержание через неделю;

  • Сравниваешь несравнимое. Сравнивай с похожими периодами (месяц к месяцу, год к году, но не неделя к месяцу или день к году), используй контрольные группы (например, в рамках A/B-тестов);

  • Смешивание сегментов. Новички ≠ старички; платящие ≠ неплатящие. Делай срезы и сравнивай влияние в рамках сегментов;

  • Подгонка цели под результат. Сначала нужно определить цель и уже потом делать выводы о её достижении. Не наоборот. Не нужно формулировать или корректировать цель, исходя из результатов эксперимента.

Метрики вовлечения

Что такое вовлеченность и как её измерить?

Что такое

Вовлечённость — это интенсивность, частота и глубина использования продукта, отражающие полученную пользователем ценность. Её нельзя сводить к одному числу «время в продукте»: кто-то «залипает», потому что страдает UX. Поэтому измеряем поведение в контексте ценности. Проще говоря, вовлечён пользователь или нет — зависит от того, находит ли он пользу в продукте и возвращается ли за ней регулярно.

Примеры вовлечённости в разных продуктах:

  • В играх (да, они тоже продукт): игрок завершает 3+ сессии в неделю, открывает новые уровни, совершает покупки;

  • В таск-трекере: команда создаёт и закрывает задачи ежедневно, не теряет темп работы;

  • В соцсети: пользователь читает, сохраняет и шэрит посты ежедневно.

Как измерить

Чтобы измерять вовлечённость, определись с core value loop (ключевой сценарий / воронка) и выдели ведущие метрики, отражающие получение этой ценности.

Три слоя вовлечённости:

  • Частота — как часто пользователь взаимодействует с продуктом (DAU, WAU, количество сессий на пользователя в сутки);

  • Глубина — насколько «внутрь» продукта заходит (завершённые сценарии: прочитанные статьи, уровни, созданные объекты; прохождение воронки);

  • Регулярность — образуется ли привычка (сколько дней в неделю/месяц пользователь использует продукт).

Что показывает коэффициент удержания пользователей?

Степень удержания можно определить по показателю Retention — это зеркало вовлечённости. Он показывает, сколько пользователей продолжают возвращаться за ценностью спустя N дней/недель после первой сессии.

Варианты удержания

  • Классический N-day retention: вернулся именно на N-й день (D1, D7, D30);

  • Rolling retention: был активен на N-й день или позже. Удобно для верхнеуровневых ориентиров, но всегда выше классического и может «маскировать» проседания;

  • Weekly/Monthly retention: для сценариев с естественной недельной/месячной периодичностью (финансы, покупки, B2B). Например, СМИ часто используют Retention W1, то есть удержание в первую неделю. Срок жизни пользователя в медиа небольшой, и дневное удержание очень низкое, поэтому оно может быть не статзначимым.

Что нам «рассказывает» удержание

  • Форма кривой выживания (survival curve): ранняя «ступенька» — про первое впечатление; пологий «хвост» — про истинную ценность и привычку;

  • Где узкое место: D1 низкий — проблема онбординга/неясна ценность; D7 падает — нет «причины вернуться» (контент-луп, уведомления и социальный контекст в помощь); D30 низкий — не сформирована регулярность/ритуал, маленькое ядро пользователей (норма для новых продуктов);

  • Связка с монетизацией: устойчивое удержание — база для LTV (Lifetime Value — сколько клиент принёс денег за время жизни). Без него рост выручки держится на рекламе/акциях и быстро выдыхается.

Важно: чётко определи ключевое действие, подтверждающее «возврат за ценностью». «Открыл приложение» — слабый сигнал; «сыграл раунд / завершил задачу / создал документ» — сильный.

Бизнес метрики

Какие метрики отражают экономическую ценность продукта?

Задача и цель любого бизнеса — прибыль. Поэтому метрики, связанные с доходом и помогающие на него влиять, крайне важны. Умение разложить продукт на показатели unit-экономики — вообще самый важный навык в аналитике продукта. Как мы зарабатываем, как можем зарабатывать больше, какие расходы несём — всё это отражено в юнит-экономике.

1. Revenue (выручка)

Базовая и важнейшая метрика. Она показывает, сколько денег принёс продукт за определённый период. Полезно делить её:

  • по сегментам (например, пользователи из SMB и Enterprise или, банально, новые и вернувшиеся);

  • по источникам (подписки, разовые покупки, реклама и пр.);

  • по каналам привлечения (закупка трафика, промо-акции, реферальная программа и т. д.).

2. ARPU / ARPPU

  • ARPU — Average Revenue Per User. Средняя выручка на пользователя. Считается как общая выручка, делённая на общее число активных пользователей за период.

  • ARPPU — Average Revenue Per Paying User. Средняя выручка на платящего пользователя. То же самое, что и ARPU, но учитываются только те, кто платил.

Важно: если цель — понять не просто поток денег, а сколько зарабатывает твой продукт, то лучше использовать AMPU и AMPPU, где M — Gross Margin (маржа). То есть вычесть из выручки все переменные расходы и так определять, сколько заработали за период.

3. LTV — Lifetime Value

Суммарный доход, который один пользователь приносит за всё время использования продукта. Это ядро unit economics.

Классическая формула:

LTV = ARPU × Средняя продолжительность жизни клиента (в месяцах)

Формула выше общепринята, и именно её ты найдёшь, если загуглишь, что такое LTV. Но важно понимать: LTV нельзя рассматривать в отрыве от стоимости привлечения (CAC). Ты сколько-то потратил на то, чтобы этот пользователь пришёл, и какое-то количество пользователей вообще не «дожили» до покупки. А деньги потрачены, и их важно учесть.

Более корректная формула:

LTV = AMPU × Средняя продолжительность жизни клиента (в месяцах)

В AMPU уже учтены затраты на привлечение и все переменные затраты на «содержание пользователя». Подробнее

4. CAC — Customer Acquisition Cost

Сколько ты тратишь на привлечение одного клиента. Это может быть стоимость рекламы, комиссии партнёрам и посредникам, затраты на SEO-продвижение и даже зарплаты маркетолога (хотя постоянные расходы лучше не включать).

Твоя цель — добиться: LTV > CAC, то есть прибыль с клиента больше, чем стоимость его привлечения. Тогда экономика, что называется, сходится. Или ещё лучше: LTV / CAC ≥ 3.

5. Gross Margin / Gross Profit

Это Revenue за вычетом переменных расходов. Чем выше GM, тем больше денег остаётся на масштабирование и развитие продукта.

В Gross Margin намеренно не входят зарплаты и налоги, потому что эти траты не зависят от количества пользователей и не влияют напрямую на экономику продукта. Твой продукт не начнёт зарабатывать больше, если ты вдруг начнёшь разработчику платить не 250 тысяч, а 500.

6. Average Price

Средняя стоимость одной транзакции или, если проще, средний чек. Рассчитывается как: Revenue поделить на количество оплат за период.

Как связать поведение пользователей с доходом?

Ты не можешь влиять напрямую на выручку — но можешь влиять на поведение пользователей. А значит, можешь управлять доходом через метрики продукта и вовлечённости.

Цепочка ценности: от поведения к выручке

Простой фреймворк: Привлечение → Активация → Возврат → Доход

Разберём на примере подписного сервиса: Пользователь приходит → пробует функциональность → получает ценность → остаётся → платит.

Если ты хочешь увеличить выручку, тебе нужно:

  1. найти ключевые действия, после которых вероятность оплаты возрастает;

  2. оптимизировать путь до этих действий;

  3. удерживать пользователей, которые уже платят.

Индикаторы поведения, влияющие на монетизацию

Активация

Важно, чтобы пользователь не просто заходил в продукт, но использовал его по прямому назначению, то есть активировался. Если пользователь не активировался, значит он не увидел для себя ценности в продукте и платить не будет.

Если видишь, что активации в основной сценарий крайне редки, то есть пользователь отвалился сразу после захода в продукт и еще до целевого действия, то стоит задуматься какое впечатление создаёт твой продукт. Понятно ли сразу в первом экране о чем продукт и для чего он нужен? Цепляющий ли текст? Понятно ли сходу куда нажать? А точно все кнопки работают?

Глубина использования

Чем чаще и глубже используют продукт, тем выше шанс оплаты. Важно, чтобы пользователь не просто активировался в ключевой сценарий, но дошел до его конца. Более того, это должно происходить регулярно.

Использование = Выручка

Можно прямо связать использование конкретных фич с платёжами. Ты должен понимать за что люди платят в твоём продукте. Что именно кажется им наиболее ценным и важным? Вот именно это ты и продаешь пользователям в продукте. Таких фич может быть множество. А иногда они могут быть вообще не связаны со сценарием, который ты считаешь ключевым в продукте.

Держу руку на пульсе, общайся с пользователями и понимай зачем используют твой продукт.

Удержание и отток

Повторные покупки и подписки возможны только при регулярном возвращении. Тут всё снова упирается в ценность. Люди знают за что платят и их устраивают условия, поэтому они возвращаются и платят еще.

Глядя на метрики удержания и оттока можно понимать как реагируют платящие пользователи на изменения в продукте. Всегда сверяйся с ними как с часами. Если Retention изменился, то стоит разбираться почему и не приведет ли это в росту оттока.

Когортный анализ и сегментация

Смотри, какие группы пользователей приносят больше денег:

  • какие фичи они используют;

  • через какие каналы пришли;

  • какой у них путь активации.

Как минимум разбивай пользователей на платящих и не платящих, если продукт с подпиской, и на новых и старых. Смотря на показатели в целом по продукту без сегментации, можешь многое упустить. Сегментация позволяет увидеть полную картину.

Продуктовые эксперименты, направленные на доход

Ты можешь выдвигать гипотезы, которые связаны не напрямую с деньгами, но через поведение влияют на выручку.

Например: если сделать новый onboarding, больше людей дойдут до первого успешного действия → это повысит retention → это увеличит ARPU.

Важно: выручка — это следствие, а не действие. Сосредоточься на причинных триггерах. Еще раз, пользователи платят не за фичи, они платят за ценность. Думай о ценности и это приведёт к доходу.


То же самое в формате тг-канала. Сначала будет выходить там отдельным постами по чуть-чуть, потом здесь большой статьей.

Показать полностью
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества