Недавно myTarget запустил сплит-тесты. Это инструмент, который позволяет тестировать разные параметры кампаний: ставки, креативы, формы закупки и даже таргетинг по погоде и точное время показа рекламы. Paid Social Manager Adventum Всеволод Холоденко изучил новый функционал myTarget и подготовил инструкцию по работе с ним.
Инструмент А/Б-тестирования будет полезен для запуска рекламных кампаний, определения наилучшей стратегии продвижения и поиска точек роста и оптимизации текущих кампаний.
Сплит-тест в myTarget позволяет разделить аудиторию на непересекающиеся сегменты для чистоты тестирования. Раньше кампании копировались с изменением одного или нескольких параметров и влияли друг на друга. Аудитория, которая получала рекламу, пересекалась и рекламодатель перегревал собственный аукцион, а результаты тестирования были недостаточно качественными.
Подготовка к запуску теста
Перед началом теста определите, какие метрики будут использоваться для оценки результатов. Например, при тестировании креативов можно смотреть:
на CTR — для оценки их отклика у аудитории;
на конверсии на сайте — регистрации, покупки, заявки и т. д. — при оценке их влияния на дальнейшие конверсии.
Далее нужно понять, при каком количестве действий будут подводиться итоги. Это зависит от выбранной метрики для оценки, а также текущих показателей конверсий в рекламных кампаниях. К примеру, при средней конверсии сайта в заказ в 1%, делать выводы при 150 переходах будет некорректно. Для этого вам понадобится больше данных.
Определив целевые метрики и их абсолютные показатели, вы можете настраивать тестируемые кампании, как обычные.
Настройка сплит-теста
Панель настройки находится в разделе создания кампании. Вам нужно создать от двух до десяти кампаний с различающимися параметрами для тестирования:
Выберите необходимое количество частей аудитории для первой кампании.
В следующей кампании выделите другие, непересекающиеся значения аудитории.
При выборе пересекающихся значений ваше объявление увидит несколько раз один и тот же человек. Например, вы запускаете пять креативов. И каждый из них видит один и тот же человек. Это нивелирует ценность инструмента.
Для проведения A/Б-теста выберите 1, 2, 3, 4, 5 части аудитории в одной кампании и 6, 7, 8, 9, 10 в другой. Таким образом, кампании будут использовать равные и непересекающиеся части одной аудитории.
Оценка результатов
Чтобы наблюдать за выбранными частями аудитории, добавьте столбец «Сплит-тест» в дашборде «Кампании»:
Как только вы получите определенное количество целевых действий, оцените результат.
В нашем случае мы тестировали креативы и получили примерно одинаковое количество кликов. При этом CTR незначительно отличается — на 0,012%.
Чтобы корректно проанализировать результаты, воспользуйтесь калькулятором статистической значимости. Я использую A/B Testguide. Он позволяет оценить качество проведенных тестов и показывает, является ли разница между относительными значениями из двух выборок существенной. Заношу выборку и конверсии (это также могут быть показы и клики, клики и заявки, заявки и продажи и т. д.), получаю разницу результатов в заданных условиях:
На первом скриншоте я сравнил отношение кликов к показам, на втором — конверсий к кликам. Так, я убедился: полученные результаты не позволяют однозначно сказать, что один из креативов сработал лучше другого.
Вернемся к сплит-тесту. Получаем следующие данные:
Разница по показателям как сплит-теста, так и калькулятора небольшая. С точки зрения CTR эффективность креативов примерно одинаковая. Но если сравнивать их конверсию в дальнейшие целевые действия («Конверсии» на скриншоте), то данных недостаточно. Для точного вывода о том, какой из креативов конвертирует лучше другого, нужно продолжить тестирование.
Однозначно инструмент повысит качество тестов, которые проводят рекламодатели в myTarget. Но работа с ним требует внимательности и четкой постановки цели. Поэтому рекомендую использовать сплит-тест только со сформированными планами и фиксировать результаты по завершении тестирования.
