Отвечаем на главные вопросы о популярном маркетинговом инструменте и даем инструкцию, как им пользоваться.

Что такое A/B-тестирование

Это известный и относительно простой метод исследования в IT. A/B тестирование помогает проверить гипотезу, выбрать из двух решений лучшее. С его помощью исследуют эффективность рекламы, воронок продаж, дизайна сайтов.

Кому и зачем нужно A/B-тестирование

Например, маркетологи помощью этого инструмента «составляют портрет» идеального рекламного объявления. Сравнивая между двумя вариантами, они видят, например, пост какого формата в соцсетях принес больше переходов, что за заголовок в статье собрал больше охват — и на основе выводов корректируют текущие кампании и создают новые.

Дизайнеры интерфейсов часто сталкиваются с ситуациями, когда сложно определиться, какое решение для сайта или приложения выбрать: от цвета кнопки до структуры целых разделов. A/B-тестирование в этом случае помогает изучить модели поведения пользователей и остановиться на варианте, который оказался удобнее или потенциально принесет больше продаж.

Сравнив A и B, продакт-менеджерам проще определиться, в каком направлении развивать продукт, чтобы он понравился пользователям. Или что в нем нужно доработать, чтобы улучшить показатели и приносить больше денег бизнесу. Но в продуктовом менеджменте такой метод используют реже, так как апдейт продукта — это дорого.

Как провести A/B тестирование

Можно выделить шесть этапов в работе с таким тестированием. Оно чаще всего применяется в маркетинге, поэтому в руководстве ниже будем больше ориентироваться на него, но схема подходит и под другие IT-направления.

1. Определитесь с задачей

Перед тем, как приступать к тестированию, определитесь, какого результата хотите добиться вы и бизнес в целом. Изменения ради изменений редко приносят пользу, поэтому сначала сформулируйте конкретный запрос.

Вот основные задачи, которые помогает решить A/B-тестирование:

• улучшить показатели;

• подтвердить или опровергнуть гипотезу;

• оценить новую версию продукта или инструмент.

Например, менеджер маркетплейса хочет выяснить, как повлияло на конверсию новое описание товара в карточке с сильным призывом к действию. Или он провел SEO-оптимизацию и теперь нужно проверить, есть ли от нее эффект.

2. Сформулируйте гипотезу

Она должна звучать как некое утверждение, которое подтвердят или опровергнут результаты теста.

Например, есть две версии интерфейса:

• А — демонстрирует продукты марки прямо на главной странице;

• В — на главной красивые снимки моделей, а продукция появляется только с выпадающим каталогом.

Гипотеза будет звучать так:

«Вариант интерфейса А работает эффективнее, чем вариант интерфейса В»

Формально надо придумать две гипотезы: нулевую и альтернативную, которая ей противопоставляется. В нашем примере она выглядит так:

«Вариант интерфейса В работает эффективнее, чем вариант интерфейса А»

Доказывать вторую гипотезу отдельным тестом не нужно: если первая ошибочна, то вторая автоматически верна. Конечно, интерфейсы могут показать идентичный уровень конверсии, но шансы такого исхода малы.

3. Определите метрику

Для A/B-тестирования подойдет любая количественная метрика. Например, коэффициент конверсии, показатель кликабельности (CTR — click-through rate), вовлеченности аудитории (ER — engagement rate). Какую выбрать, зависит от профессии и цели, которую преследует исследование.

4. Задайте параметры эксперимента

На этом этапе маркетолог решает, кто будет входить в контрольную и экспериментальную группы испытуемых. Аудиторию делят по географическому, возрастному и другим признакам. Делать это необязательно, но для некоторых исследований такие показатели важны.

Также важно рассчитать размер выборки — количество пользователей, которым покажут разные варианты сайта. От этого зависит достоверность данных: скажем, если ресурсом пользуется 50 тысяч человек, то мнение пяти из них статистически значимым назвать нельзя. Для расчета размера выборки можно использовать онлайн-калькуляторы вроде Mindbox или Excel.

На этом же этапе устанавливают временные рамки тестирования.

5. Запустите тест

Провести A/B-тест реально вручную, но обычно для этого используют специальные сервисы:

• Varioqub;

• AB Tasty;

• Optimizely Experiment.

Для A/B-теста продукта или его части специалисты либо сами разрабатывают аналитические системы, либо пользуются функцией A/B-тестирования в готовых (Google Analytics, Google Firebase, Mixpanel).

6. Проанализируйте результаты

На финальном этапе определяют вариант продукта с лучшим результатом. Например, какая версия интерфейса косметического сайта показала большую конверсию — с фотографиями красивых моделей или изображениями самого продукта.

Тест не всегда показывает достоверные результаты с первого раза. На это влияет особый фактор — уровень статистической значимости. Если коротко, это процент случаев, когда разница между A и B продиктована случайностью. Оценивают уровень этой случайности в тех же сервисах, где устанавливали размер выборки. Если программа посчитает результат теста недостоверным, его нужно повторить, увеличив выборку.

A/B-тестирование — один из востребованных инструментов маркетолога, но далеко не единственный. Освоив эту профессию, вы научитесь работать с интересными методиками, которые позволят привести продукт бизнес к успеху.

Всему, что нужно в маркетинге, научим на онлайн-курсе «Интернет-маркетолог». Вы сможете разрабатывать эффективные стратегии, находить каналы для рекламы, привлекать и удерживать клиентов. А мы в Яндекс Практикуме поддержим на протяжении всего обучения и поможем с с трудоустройством. В конце курса у вас на руках будет крепкое резюме и портфолио из проектов, которые вы реализуете во время практических занятий — их будет много.

Стать интернет-маркетологом