Идея поменять заголовки месяцами лежала в списке неважных. Потом её проверили, и она принесла Bing 100 миллионов долларов в год
Это про A/B-тесты. Половина посетителей видит одну версию страницы, половина другую, и вы смотрите, какая чаще приводит к нужному действию: заявке, покупке, подписке.
Две истории, после которых спорить про «сильный заголовок» на совещании как-то неловко.
Bing. Идея слегка изменить заголовки рекламных объявлений месяцами лежала в бэклоге как неважная. Потом один инженер всё-таки запустил тест. Плюс 12% к выручке, около 100 миллионов долларов в год. Самая прибыльная идея в истории продукта.
Кампания Обамы, 2008 год. Команда протестировала варианты первого экрана сайта: другая картинка и другой текст на кнопке. Подписка выросла с 8,26% до 11,6%. Это плюс 40% в относительном выражении и около 60 миллионов долларов пожертвований.
Мораль одна: заранее не знает никто. Ни владелец, ни дизайнер, ни инженеры Microsoft.
Но есть обратная сторона. Выигрывает меньшинство тестов. По данным сервисов VWO и Optimizely, статистически значимого победителя дают около 22% тестов. Мета-анализ 1001 реального теста показывает около трети побед и около 40% исходов «разницы нет».
Отсюда практичный вывод, который мне кажется самым важным: раз большинство попыток не выстреливает, сам тест обязан быть дешёвым. Сервис за 200–300 долларов в месяц ради одного теста на маленьком сайте при таких шансах не окупается.
Что тестировать первым. За один тест меняется одна вещь, иначе не поймёте, что сработало. Начинайте с того, что видят все:
заголовок и подзаголовок первого экрана;
текст главной кнопки: «Купить», «Попробовать бесплатно», «Посмотреть программу»;
порядок блоков, например цены выше отзывов или ниже;
подача цен: три тарифа или один, с зачёркнутой старой ценой или без.
Если идей много, оценивайте каждую по трём вопросам: насколько сильно этот элемент влияет на решение, насколько вы верите в гипотезу и насколько легко её проверить. Почти всегда побеждает заголовок, а не цвет иконок.
Я маркетолог с дипломом Школы анализа данных Яндекса и каждый день выкладываю сюда по одному разбору из работы. Через несколько дней покажу, как поставить A/B-тест на свой сайт одним промтом бесплатно. А завтра — что я нашла, когда разобрала 4 848 постов маркетологов в Threads.
