Хотите добиться максимальной эффективности от рекламы? Тогда нужно тестировать различные гипотезы и находить точки роста.

В этой статье мы расскажем:

Что необходимо сделать перед стартом эксперимента.
Какие показатели оценивать, а какие нет.
Когда запускать рекламные кампании и на какой срок.
Как правильно оценивать результаты теста.

1. Что надо обязательно сделать перед стартом эксперимента

1) Определить цели, выдвинуть гипотезы. Перед запуском теста определите показатели, которые хотите улучшить:

Увеличить CTR;
Повысить коэффициент конверсии;
Снизить стоимость конверсии;
Увеличить количества кликов и другие метрики.

Если хотите при неизменном бюджете увеличить количество кликов, то нужно снизить их стоимость. Ваши действия:

Протестировать аудитории, которые дешевле в аукционе;
Повысить CTR объявлений (если кампании работают в CPC аукционе).

Если хотите увеличить количество продаж, то тут сложнее. Ваши действия:

Внести правки в рекламные кампании или на сайте, например, процедуру оплаты, процесс работы с корзиной, карточки товаров и др.;
Поработать с креативами, таргетингами, бюджетами, остальными параметрами;
пПотестировать офферы, УТП и др.

2) Создать две группы: контрольная и тестовая

Чтобы отследить изменения, нужно полученные в ходе эксперимента результаты с чем-то сравнивать. Для этого создаётся контрольная группа — где все настройки без изменений. И тестовая, на которую мы «накладываем» гипотезы.

2. Какие показатели оценивать, а какие нет

Выбираем гипотезу и только один показатель для теста. Например, вы сделали запуск, в результате которого получили много различных показателей. Какой-то из них лучше, какой-то хуже. Определяем один показатель на который будем ориентироваться.

Если тестируете креатив (баннеры/текст), то нужно изменить только баннеры в тестовой и контрольной группах, а все остальное должно остаться без изменений.

Пример выбора гипотезы:

Товар со скидкой даст больший CTR;
Креатив с ценой увеличит поведенческие факторы. Пользователь уже точно знает к чему готовиться, поэтому ему будет проще совершить покупку;
Гипотезы по форматам: карусель даст более дешёвые клики, чем мультиформат;
Таргетинг на постоянный интерес даст большую вовлечённость в контент сайта;
Разная аудитория для ретаргетинга принесёт разное количество конверсий и др.

3. Когда запускать рекламные кампании и на какой срок

Запускайте тестовую и контрольную группы одновременно. Это важно, т.к. в разное время дня разная активность, и аукцион работает по-разному. Поэтому CTR и другие показатели могут отличаться, что повлияет на конечные результаты эксперимента.

Для сбора данных нужен в идеале месяц, чтобы собрать статистику. Можно 2−3 недели.

Эксперимент на меньше чем неделю запускать нет смысла, т.к. вы не сможете понять что повлияло на успех — таргетинг, креатив или период размещения.

4. Как правильно оценивать результаты теста

Опеделите размер выборки

Выборка должна быть достаточна для того, чтобы при масштабировании кампании результаты теста были устойчивы. Например, если тестируете CTR, то вы должны быть уверены, что при увеличении бюджета полученный CTR будет оставаться без изменений.

Если получить 400 кликов, то возможная ошибка при масштабировании — 10%. Т. е. CTR может меняться на 10% в каждую сторону. Например, если CTR 0.1, то он может изменятся от 0,09 до 0,11 при доверительном интервале 95%. Если купить 95 кликов, то возможная ошибка — 20%. Т. е. CTR может меняться 20% в каждую сторону.

Вывод: чем больше получено данных, тем выше стабильность показателя и точнее результаты.

После того, как мы определились со стабильностью показателя, нужно убедиться, что разница между гипотезами (результатами теста) статистически значима. Можно воспользоваться калькулятором достоверности A/B тестирования из свободного доступа в интернете.

Чтобы оценить результаты теста с помощью калькулятора, необходимо занести клики и конверсии по двум группам. Если калькулятор пишет, что результат можно считать статистически значимым — значит тест проведён успешно, можно выключать контрольную группу. Если нет, то необходимо менять гипотезу и запускать новый тест.

После завершения теста, нужно сохранить результаты и сразу внедрять в остальные кампании. Работающие варианты — оставлять, неработающие — отключать.

Желаем высоких конверсий и прибыли!