A/B-тестирование: кому нужно и как проводить

A/B-тестирование – проверка эффективности двух вариантов, например, дизайна лендинга или формы кнопки «купить». В ходе эксперимента аудитории демонстрируются различные версии и оценивается ее реакция на каждую из них. После этого выбирается финальный вариант, который и будет применен.

A/B-тестирование используется для улучшения юзабилити, повышения конверсии, снижения числа отказов на сайте и в целом для минимизации рисков в работе с аудиторией.

А/В-тестированием (по-другому еще говорят – сплит-тестирование) называют исследование объекта посредством сравнения двух его вариантов. К примеру, это может быть определенная, выбранная на сайте страница. Людям предлагают ознакомиться с ней, а затем смотрят, какой из вариантов вызывает лучший отклик.

Метод А/В-тестирования демонстрирует, что нужно изменить в проекте, чтобы повысить его эффективность (к примеру, поднять конверсию). Вот когда требуется применение метода:

Сплит-тестирование, проведенное в описанных случаях, даст конкретные цифры, на которые можно будет опираться при принятии решений. Это так называемый data-driven-подход.

Далее – простой пример применения метода. Пусть сайт дает конверсию 5 %. Маркетолог говорит, что эту цифру можно поднять до 7 %, если сделать кнопку «Купить» синей (сейчас она зеленая).

Подключаете к сайту специальный сервис вроде AB Tasty и т.п., который делит весь поток трафика на две части, чтобы одни пользователи (половина всего потока) видели зеленую кнопку, а другие – синюю. Информация собирается в течение трех недель. Результат применения А/В-тестирования: конверсия со старой страницы так и осталась 5 %, а с новой – возросла до 7,5%.

Разработчикам остается сменить цвет кнопки (по заданию маркетолога). Выгода очевидна: расходы на подтягивание трафика те же, а объёмы продаж в полтора раза возрастают.

Главное, для чего проводится А/В-тестирование – выбрать максимально выгодный для бизнеса вариант продукта или объекта. Объекты, с учетом сферы деятельности, могут быть самыми разными.

Первичная цель проведения А/В-тестирования – поднять показатели, опираясь на поведение пользователей, которые, кстати, чаще всего даже не догадываются, что участвуют в каком-то эксперименте. Вот какие цели обычно тут преследуются:

Данный вид тестирования представляет собой несколько последовательно выполненных шагов:

Цель ставится с учетом общих целей компании. Пусть, для примера, речь идет о предприятии, выпускающем и продающем пластиковые окна. Компания дает контекстную рекламу, она и подтягивает трафик на лендинг. Главная цель тут – поднять объёмы продаж с него.

То есть, нужно провести тестирования, которые дадут рост числа заявок на посадочной странице. В частности, рассматривается идея сделать на ней все кнопки круглыми, а не квадратными (как было изначально).

Не нужно тратить время и ресурсы компании на проверку гипотез, которые никак не связаны с основной целью компании. Без правильно намеченных ориентиров это будут напрасные расходы и усилия.

Для А/В-тестирования это важный момент. Какие метрики имеет смысл изучать и проверять? Имеются в виду основные показатели бизнеса, а именно: число продаж, покупателей, объём выручки, прибыль в чистом виде, процент конверсии, отказов и т.п. Метрика – это что-то вроде термометра, по которому видно, довольны ли клиенты, хороший ли компания получает доход и проч.

В данном конкретном примере ключевая метрика – число поступающих с лендинга заявок, а именно – уже оплаченных заказов, оформленных на сайте.

При проведении А/В тестирования лучше работать с одной выбранной метрикой, иногда можно с несколькими (рассматривая их как дополнительные). Не «замахивайтесь» сразу на всё!

Эффективность теста будет слабой, если пытаться отследить одновременно десятки показателей. На этом оконном предприятии в качестве дополнительных метрик можно просматривать еще сумму среднего чека и размер чистой прибыли.

То есть, предполагаете: если поменять «вот это», то получится ли «вот это»? Получиться должно то, что намечено у вас в качестве основной метрики. В данном примере: «замена прямоугольных кнопок на круглые даст рост конверсии на странице с 3-5% до 8-10%?».

Чтобы оценка результатов получилась верной, рассматривают два варианта гипотез:

Если в результаты А/В-тестирования подтвердили правильность нулевой гипотезы, то изменения нецелесообразны. Если же верной оказалась альтернативная гипотеза, то правки имеют смысл, и можно вносить их целиком, демонстрируя всей аудитории. Разумеется, если эффект нулевой, то на лендинге всё остается, как было, и нужно искать иные способы улучшения ключевой метрики.

Еще один очень важный шаг. Иногда он скорее технический, в других случаях – нет. Тут всё делается с учетом возможностей предприятия и имеющихся специалистов.

В Яндексе, к примеру, есть встроенная автоматическая система. Когда нужно провести тест, она сама делит посетителей на группы и задает объем выборки. Выборка – это численность группы, достаточная для получения такого количества информации, которое позволит принять оптимальные меры.

Работать над дизайном теста начинайте после ответа на следующие 4 вопроса:

Как задавать объём выборки? Тут опирайтесь на уже имеющийся опыт работы. Прикиньте, какое число пользователей нужно привлечь для проверки гипотезы, чтобы заметить изменения нужного вам размера.

Тут в частности речь о компании, продающей окна. Трафик на лендинг идет с контекста, поэтому имеет смысл рассматривать новых пользователей. Это примерно 10% от всего потока. Делить на группы их не нужно. Средний показатель посещаемости страницы за стуки – 100 человек. Пусть тестирование длится один месяц. Тогда на измененный сайт зайдут 300 потенциальных клиентов. Для принятия верного решения этого вполне достаточно.

После того, как тест запущен – остается ждать. Просто следите, чтобы всё корректно работало и обе группы нормально взаимодействовали с сайтом. На начальном этапе главное – анализировать результаты.

Бывает так, что сразу подтверждается альтернативная гипотеза. Вот тут большая ошибка – останавливать тестирование (а новички часто так и делают). Бывает, что на начальном этапе изменения улучшают ключевую метрику, но под конец эффект может ослабеть, а то и вовсе результат оказывается отрицательным. Поэтому обязательно завершите эксперимент, заканчивайте его именно в намеченный срок.

Теперь можно проанализировать, что у вас получилось: какая имеется разница в результатах, не случайны ли эти показатели. И дальше уже решайте, вносить изменения на весь поток пользователей, или оставить всё как было изначально.

В приведенном примере лендинг с круглыми кнопками дал 27 оплаченных заказов, а это означает, что конверсия составила 9%.

В А/В-тестировании выделяют три основные проблемы:

Это когда для проведения тестирования (с целью, например, подсчета статистики, формирования тренда) считают целесообразным несколько групп пользователей объединить в одну.

Представьте себе, что по оси Y отображается радость пользователей. А некие показатели по оси Х влияют на эту радость. Зависимость такая: если Х растет, то и радость увеличивается. Так вот, бывают ситуации, в которых сформированный именно для объединенной группы пользователей тренд получается противоречивым, теряет свою значимость или даже вовсе исчезает. Тогда эксперимент не дает объективных результатов, а ваши выводы по нему в итоге ошибочны. Это и есть парадокс Симпсона.

То есть, специалист, проводящий А/В-тестирование, объединяет аудиторию в группы и при этом теряет тренд, вносит изменения, из-за которых часть пользователей вообще «отваливается», а оставшиеся ведут себя, как и раньше. Одни люди положительно отреагируют на нововведения, а другие – наоборот.

Чувствительностью называют способность метрики к окрашиванию.

Что такое per-user- и Ratio-метрика:

При проведении А/В-тестирования важна быстрота окрашивания метрик. Ускорить процесс можно разными методами, в частности, линеарными и иными.

Нередко для проведения эксперимента выбираются метрики, склонные к изменениям. Поэтому изначально убедитесь, что получаете достаточно точные показатели.

Тут помогает А/А-тест, по которому видно, что выбранная метрика остается неизменной при отсутствии на нее каких-либо воздействий. Но без истории, которая не всегда имеется в наличии, А/А-тест не провести (а его нужно делать перед А/В-тестом). И тут может выручить А/А/В-тестирование.

Решать, как долго проводить А/В-тест, нужно с учетом поставленной цели и размера аудитории (она должна быть достаточной для получения достоверной статистики).

Минимальный срок использования целого ряда инструментов для А/В-тестирования – две недели. Этого хватает для сбора нужной информации, если изменения предстоят не глобальные. Поведение аудитории в разные дни недели (а оно может очень отличаться) тоже отображается. Но если выборка довольно масштабная, изменения серьезные и статистическая значимость большая, то тестирование может занять даже не один месяц (до трех).

Придерживайтесь тут двух простых, но важных правил:

При этом не спешите делать выводы раньше времени, поверхностно глянув на ситуацию. Тогда эксперимент станет бессмысленным, потому что показатели могут резко меняться.

Издания заинтересованы в увеличении числа подписчиков, читателей, просмотров, в том, чтобы они как можно больше времени проводили на сайте или в социальных сетях. Тут есть смысл тестировать формы подписок, регистрации, проверять, какие кнопки лучше работают и какой контент привлекает больше внимания.

К примеру, Netflix популярен у зрителей. И не в последнюю очередь благодаря регулярным тестированиям любых нововведений. В частности, Netflix обеспечивает персонализацию главной страницы для удобства пользователей. То есть, на главной странице человеку показывают материалы (фильмы, телешоу), взаимосвязанные с тем, что он уже раньше смотрел. Тут нет случайной выборки, посетитель видит то, что ему заведомо интересно.

Остальные страницы проработаны в том же ключе. Персонализация применена к миниатюрам, заголовкам. Когда нужно – система «подбрасывает» социальные доказательства, влияющие на принятие решений. И это лишь малая часть всего, что тут предусмотрено.

Интернет-магазины с помощью А/В-тестов увеличивают сумму среднего чека, улучшают воронку, снижают число оставленных корзин. Какие метрики тут можно тестировать? Цену товара, наличие доставки, тексты и цветовое оформление страниц с оплатой, бланком заявки, общий вид рейтингов, обзоров.

Лидером по оптимизации конверсии смело можно назвать Amazon. Да, тут, конечно, главный «козырь» – масштабность, однако большое значение имеет и постоянная забота об улучшении взаимодействия с клиентами.

Компания провела специальные исследования (конец 90-х) и ввела у себя функцию «Заказ в один клик». Это когда товар можно купить сразу, минуя его отправку в корзину. Нужно лишь единожды вбить в форму номер карты и свой адрес. А дальше весь процесс покупки сводится к нажатию одной единственной кнопки. В итоге люди перестают даже заглядывать на другие сайты и покупают только здесь.

Опция «Заказ в один клик» глобально повлияла на бизнес, и в 1999 году Amazon её запатентовал. А уже в 2000 году Apple приобрел для себя лицензию.

Amazon любые идеи и изменения проверяет методом А/В-тестирования. Воронка на сайте, по сути, такая же, как и у всех, но здесь все элементы оптимально подстроены под пользовательские запросы и ожидания. На всех без исключения страницах нет лишней, отвлекающей информации, только то, что целенаправленно продвигает к следующей ступеньке воронки.

Для примера посмотрите, как устроено взаимодействие с корзиной.

Значок размещен справа в углу на главной странице сайта, и эта корзина всегда в поле зрения пользователя. Но кроме указания количества добавленных товаров, тут человеку предлагают выбрать пять вариантов действий:

То есть, человек жмет по маленькому значку корзинки и получает возможность выбора действий. Когнитивная нагрузка на посетителя снижается, плюс накапливается пользовательский опыт.

А/В-тестирование дает рост числа заказов, дополнительных продаж, улучшения идут и по иным позициям. Что здесь тестировать? Главную страницу, рекомендации сайта по сопутствующим продуктам, трекер с данными по заказу, страницу с выдачами и проч.

К примеру, Booking.com активно задействует в своей работе А/В-тестирование, что помогает успешно конкурировать и расширять свои позиции на рынке. Причем исследования проводятся постоянно и весьма масштабные. Там постоянно в действии примерно тысяча А/В тестов.

Booking.com больше десяти лет занимается подобными исследованиями, однако все равно стремится к упрощению взаимодействия с сайтом и к улучшению клиентского опыта. В этом состоит одно из явных преимуществ компании.

Тут работа поставлена так, что А/В-тестирование обозначено как постоянная задача на каждый день. Скорость проведения тестов специалисты подняли до текущей. При этом в приоритете здесь данные, а HiPPO (Highest paid person’s opinion) практически не оказывает на процесс никакого влияния. Но Booking.com на этом не останавливается. Здесь каждый сотрудник имеет возможность в любой момент протестировать собственную идею, и если она окажется удачной, то непременно поспособствует продвижению бизнеса.

Booking.com постоянно экспериментирует, преследуя цель улучшения взаимодействия посетителей с сайтом. Например, в 2017 году для расширения охватов компания стала предлагать желающим снимать жилье поблизости от отелей. Это происходило в рамках партнерского сотрудничества с Outbrain (нативная рекламная платформа, работающая по всему миру), который тоже имел свою выгоду в виде пополнения базы владельцев недвижимости.

Команда Booking.com практически сразу обратила внимание на следующую картину: многие владельцы недвижимости начинают регистрироваться на сайте, однако дальше не двигаются. К слову говоря, регистрация происходила на страницах, предназначенных для рекламы.

Специалисты обеих компаний объединили свои усилия и подготовили три варианта лендинга на Booking.com, добавив на страницу социальные доказательства, награды, оценки посетителей и иное.

Это А/В-тестирование продолжалось на протяжении двух недель и подняло число регистраций на 25%. Причем стоимость каждой регистрации существенно уменьшилась.

Вот перечень самых частых ошибок при подобных исследованиях:

Конечно, всегда есть желание упростить себе работу. Но при одновременной проверке сразу двух гипотез непонятно, какая из них заставила показатели измениться. Одна сработает положительно, другая – отрицательно, и вы все равно не разберетесь, что для сайта хорошо, а что плохо. Поэтому в одном тесте работайте с одной гипотезой, не более.

Имеется в виду, что на протяжении месяца (например) вы показываете людям вариант сайта А, а следующий месяц – вариант В. Но если товар сезонный, то такой подход не годится, потому что спрос в разное время неодинаков, и непонятно, сыграли тут свою роль изменения на сайте или нет.

Пусть вы торгуете санками и в феврале решили протестировать новый лендинг. Первый месяц демонстрируете старую страницу, а дальше – уже новый вариант. Понятно, что показатели во втором месяце будут снижаться, и дизайнеры тут не виноваты. Просто кому нужны санки в марте месяце?

Это проблема тех, кто завершает исследование раньше намеченного срока. У одних время поджимает, другие захотели скорее провести презентацию. А результат – потеря сотен клиентов. Поэтому одна из самых больших ошибок при проведении А/В-тестирования – его преждевременная остановка. Уделите этому достаточно времени. Оптимальный показатель для статистической достоверности – не менее 95%.

Такие исследования обязательно нужны, если вы ставите целью повышение прибыли, иных важных показателей, либо хотите подобрать новые маркетинговые инструменты для взаимодействия с аудиторией (через сайт, лендинг, с помощью рассылок, неких креативных идей).

В определенных случаях А/В-тестирование можно заменить другими подходами:

Поисковики могут рассматривать созданные вами альтернативные страницы, как дубли сайта. Но практика показывает, что такое случается лишь в случаях, когда эксперименты длятся слишком долго.

Резюмируя всё вышесказанное, можно с уверенностью утверждать, что сейчас без сплит-тестирования не обойтись маркетологам, разработчикам, аналитикам, дизайнерам и прочим современным специалистам, работающим над созданием, продвижением и реализацией тех или иных продуктов, брендов. Изучите и возьмите на вооружение данный механизм, если хотите занять твердые позиции, успешно конкурировать и продвигаться на рынке.