Сплит-тестирование в myTarget: гайд по новому инструмент

Недавно myTarget запустил сплит-тесты. Это инструмент, который позволяет тестировать разные параметры кампаний: ставки, креативы, формы закупки и даже таргетинг по погоде и точное время показа рекламы. Paid Social Manager Adventum Всеволод Холоденко изучил новый функционал myTarget и подготовил инструкцию по работе с ним.

Инструмент А/Б-тестирования будет полезен для запуска рекламных кампаний, определения наилучшей стратегии продвижения и поиска точек роста и оптимизации текущих кампаний.

Сплит-тест в myTarget позволяет разделить аудиторию на непересекающиеся сегменты для чистоты тестирования. Раньше кампании копировались с изменением одного или нескольких параметров и влияли друг на друга. Аудитория, которая получала рекламу, пересекалась и рекламодатель перегревал собственный аукцион, а результаты тестирования были недостаточно качественными.

Перед началом теста определите, какие метрики будут использоваться для оценки результатов. Например, при тестировании креативов можно смотреть:

Далее нужно понять, при каком количестве действий будут подводиться итоги. Это зависит от выбранной метрики для оценки, а также текущих показателей конверсий в рекламных кампаниях. К примеру, при средней конверсии сайта в заказ в 1%, делать выводы при 150 переходах будет некорректно. Для этого вам понадобится больше данных.

Определив целевые метрики и их абсолютные показатели, вы можете настраивать тестируемые кампании, как обычные.

Панель настройки находится в разделе создания кампании. Вам нужно создать от двух до десяти кампаний с различающимися параметрами для тестирования:

При выборе пересекающихся значений ваше объявление увидит несколько раз один и тот же человек. Например, вы запускаете пять креативов. И каждый из них видит один и тот же человек. Это нивелирует ценность инструмента.

Для проведения A/Б-теста выберите 1, 2, 3, 4, 5 части аудитории в одной кампании и 6, 7, 8, 9, 10 в другой. Таким образом, кампании будут использовать равные и непересекающиеся части одной аудитории.

Чтобы наблюдать за выбранными частями аудитории, добавьте столбец «Сплит-тест» в дашборде «Кампании»:

Как только вы получите определенное количество целевых действий, оцените результат.

В нашем случае мы тестировали креативы и получили примерно одинаковое количество кликов. При этом CTR незначительно отличается — на 0,012%.

Чтобы корректно проанализировать результаты, воспользуйтесь калькулятором статистической значимости. Я использую A/B Testguide. Он позволяет оценить качество проведенных тестов и показывает, является ли разница между относительными значениями из двух выборок существенной. Заношу выборку и конверсии (это также могут быть показы и клики, клики и заявки, заявки и продажи и т. д.), получаю разницу результатов в заданных условиях:

На первом скриншоте я сравнил отношение кликов к показам, на втором — конверсий к кликам. Так, я убедился: полученные результаты не позволяют однозначно сказать, что один из креативов сработал лучше другого.

Вернемся к сплит-тесту. Получаем следующие данные:

Разница по показателям как сплит-теста, так и калькулятора небольшая. С точки зрения CTR эффективность креативов примерно одинаковая. Но если сравнивать их конверсию в дальнейшие целевые действия («Конверсии» на скриншоте), то данных недостаточно. Для точного вывода о том, какой из креативов конвертирует лучше другого, нужно продолжить тестирование.

Однозначно инструмент повысит качество тестов, которые проводят рекламодатели в myTarget. Но работа с ним требует внимательности и четкой постановки цели. Поэтому рекомендую использовать сплит-тест только со сформированными планами и фиксировать результаты по завершении тестирования.