Тестирование гипотез: методы и инструкция

Зачем? Тестирование гипотез проводят, чтобы улучшить опцию или процесс в бизнесе. Под сомнение можно ставить что угодно: цвет кнопки на сайте, дизайн упаковки, голос оператора и прочее.

Как? Существуют различные методы тестирования – HADI-циклы, SWOT-анализ, интервью, опросы. Какой бы вариант ни был выбран, начать нужно с правильной формулировки гипотезы, отвечающей определенным критериям.

Перед обсуждением важности тестирования гипотез следует объяснить, что она, гипотеза, собой представляет.

Для этого можно смоделировать ситуацию: человек анализирует данные в ходе исследования, а ему вдруг приходит в голову еще один вариант решения проблемы, возможно, не такой очевидный, как предыдущие. Он обдумывает этот инсайт, формулируя гипотезу.

Гипотеза представляет собой предположение, требующее доказательства или опровержения. Предположением может стать результат наблюдений, вариант развития событий и т. д.

Представим, что начинающий блогер хочет проанализировать свою страницу в социальной сети. Для публичного просмотра у него представлены 15 постов, пять из которых пользуются особой популярностью у подписчиков. Фолловеры их активно пересылают другим пользователям соцсети, комментируют, оценивают. Блогер видит, что у этих постов есть много общего: они не слишком длинные, написаны с юмором, в них рассказывается об интересных фактах биографии.

На этом основании можно сформулировать гипотезу, что короткие смешные посты, описывающие события из реальной жизни, больше нравятся подписчикам.

Для проверки гипотезы нужно провести тестирование.

Проверка гипотезы заключается в наблюдении и формировании предположений на основании полученных ранее данных. Сбор информации необходим, чтобы подтвердить или опровергнуть данные научным методом.

Тестирование гипотез не терпит спешки, все должно проходить последовательно, аккуратно, с фиксацией результатов на каждом этапе исследования. Гипотеза может изменяться в процессе исследовательской работы над ней. В конце нужно получить удовлетворяющий исследователя вывод.

К тестированию гипотез в бизнесе прибегают лишь при работе с определенным рыночным сегментом или его отдельными представителями.

Для поиска гипотезы анализируют клиентский путь в компании, пути у конкурентов, тип рынка и каналы продаж. Специалисты советуют использовать при этом инструмент Customer Journey Map.

На первом этапе фиксируются тезисы, пригодные для дальнейшей проверки.

Для тестирования гипотез в маркетинге необходимо точно сформулировать:

Adventum использует сервис продуктовой аналитики Amplitude, благодаря которому можно получать ещё больше инсайтов о продукте и выстраивать более сложные гипотезы. Являются единственными его реселлерами в России и СНГ (Эксклюзивный партнёр Amplitude в России и СНГ).Узнать о возможностях сервиса и посмотреть кейсы можно по ссылке amplitude.adventum.ru.

Для выстраивания логически верной, структурированной гипотезы применяются методы приоритизации идей. Они позволяют дать оценку тем или иным проектным задачам, а также сформировать логичный и пошаговый план создания и вывода товара для реализации.

Есть некоторые параметры, которые указывают на грамотно сформулированную гипотезу:

Лучше объяснить специфику на конкретном примере. Вопрос, эффективна ли СМС-рассылка для ресторанного бизнеса, не является отличной гипотезой. Необходимо внести в предложение конкретику, а также продумать, как получить данные для подтверждения ее работоспособности. Вопрос, с помощью какого инструмента можно привлечь дополнительную аудиторию в ресторан на утренние часы работы – SMS или MMS, уже можно считать хорошей гипотезой, достойной для проверки.

Конечно, тестирование маркетинговых гипотез различается из-за особой специфики бизнеса, а значит, и методики с инструментами для работы тоже различны.

Данный метод особенно популярен у тех, кто проверяет гипотезы в сфере стартапов. Все очень просто, справится даже новичок без опыта в аналитике и бизнесе.

HADI – это бесконечный цикл, который состоит из:

Получается, что сама проверка гипотез является своеобразным замкнутым циклом. Тестирование в нем – всего лишь один из этапов.

Работая с методикой HADI необходимо:

Цель HADI в том, чтобы определить наиболее интересные широкой аудитории вопросы в бизнесе.

Методика хороша тем, что не требует серьезных затрат на проведение. Она популярна в той отрасли, где можно поговорить с клиентом, спросить его мнение.

Интервью считается качественным исследованием (customer development), представляющим собой прямой разговор с представителями целевой аудитории. С помощью него можно:

После проведения интервью появляется возможность:

Интервью разделяются на виды:

Если продукт не планируют полностью изменять, а лишь вносить небольшие правки, то достаточно провести 6-8 интервью. Для полноценного исследования, когда на всеобщее обозрение выставляется что-то новое, могут проводить более 75 интервью перед окончательным принятием решения.

В такой работе активно задействуют сервисы-опросники. Там создаются анкеты, которые пересылаются респондентам. Собранные ответы анализируются, результаты собираются в один отчет.

Аудиторию для прохождения количественного опроса найти совершенно не сложно. Достаточно выложить ссылку на анкету-опросник в социальные сети, где присутствует обширная целевая аудитория.

Популярная система стратегической проверки бизнеса, подходящая и для тестирования гипотез.

SWOT – аббревиатура, которая состоит из:

Эти четыре пункта включают в себя общие характеристики проекта или бизнеса, помогающие вычислить наиболее важное, требующее работы над улучшением.

Матрица SWOT-анализа выглядит так:

Внутренние факторы (преимущества и слабости) оказывают внутреннее влияние на бизнес и могут быть улучшены. Внешние (возможности и угрозы) отражают особенности окружающей среды, а потому изменить их практически невозможно.

SWOT-анализ вполне подходит для проверки гипотез стартапов.

Применяются, когда срочно нужно сравнить два варианта, которые отличаются какой-то одной измененной деталью. По полученным результатам получится определить, какой из них приводит к улучшенным KPI или конверсии.

Позволяет сравнить несколько вариантов, оценить с точки зрения маркетинговых показателей и выбрать лучший. Например, возможно сравнить две главные страницы интернет-магазина, где в одном варианте блок «О нас» будет находиться в начале, а во втором – внизу страницы. При получении и анализе статистических данных, и делается выбор в пользу того или иного варианта.

MVT считается подвидом A/B-тестирования. Проверяет эффективность сразу нескольких комбинаций элементов на страницах сайта или других площадках. MVT-тестирование покажет, какое сочетание даёт больше конверсий.

Если не отдельные люди, а целые компании являются конечными потребителями, то проверка гипотез должна проходить по-особому. Дело в том, что в сегменте B2B тестирование происходит несколько иначе.

Методы в B2B:

Гипотезы могут быть настолько трудными в проведении проверки, масштабными, сложными по своему составу, что на некоторые из них отводятся месяцы и даже годы. Другие же возможно проверить за пару недель. Все тестирования гипотез продукта делятся на этапы. Стоит осветить подробнее план проверки:

Шаг 1. Выбор объекта для проведения теста с целью улучшения. Это может быть объем охвата, конверсия и т. п. Веб-аналитика, сквозная аналитика, а также внутренняя CRM поможет определить самую нуждающуюся в тестировании опцию.

Шаг 2. Формулирование гипотезы, пригодной для доказательства или опровержения в процессе обработки и анализа данных. Иногда может случиться так, что гипотеза не найдет подтверждения. Такой результат возможен, нужно развивать предложение дальше, до разумного результата.

Шаг 3. Определение переменных. Надо зафиксировать возможные изменения (как положительные, так и отрицательные), касающиеся объекта исследования, которые могут случиться в процессе корректировки. К примеру, количество людей-подписчиков станет больше или меньше – такие изменения и нуждаются в тестировании.

Шаг 4. Определение сроков тестирования. Чаще всего тестирование от начала до полного завершения длится месяц, но может и больше, все зависит от самой гипотезы. Нужно учитывать фактор сезонности, выбранный метод и многое другое. К примеру, A/B-тестирование не должно длиться меньше 14 дней.

Шаг 5. Проведение проверки нулевой гипотезы и альтернативной. Нулевая гипотеза представляет собой нейтральное утверждение, в то время как альтернативная может говорить о наличии статистически значимых различий.

Шаг 6. Настает черед анализа полученных результатов. В этот момент становится понятно, какая гипотеза из двух озвученных выше подтверждается. Когда исследуемая гипотеза не доказана, важно разобраться в причине этого и отправить материалы на доработку.

Шаг 7. В финале происходит внесение изменений, проводится работа над ошибками, а также проверка новой гипотезы. Когда исследуемая гипотеза находит подтверждение, она внедряется в работу. Если результат работы отрицательный, то:

Все шаги повторятся вновь, пока не будет достигнут желаемый результат.

Для этого надо начать с тестирования того, что не слишком отличается от уже имеющегося. Нужно также выбрать ту методику тестирования, которая больше других отвечает вашим запросам. К примеру, для выбора расположения текста на странице лучше обратиться к A/B-тесту, а не разворачивать обширное и затратное маркетинговое исследование.

Статистическая гипотеза – это то или иное предположение, которое касается свойств или вида распределения случайных величин, требующее экспериментальной проверки. Обычно подобные гипотезы выдвигают при имеющихся сомнениях о случайности или закономерного следствия какого-то явления. Проверка статистических гипотез является содержанием одного из обширных классов задач математической статистики.

Лучше определиться с теми, кому тестирование не требуется совсем. К примеру, тем организациям, которые торгуют товарами первой необходимости и повышенного спроса.

В статистике на основе тестирования гипотез нуждаются новички в бизнесе, которые только нащупывают нишу для торговли и сомневаются, что их выбор верен.

С помощью тестирования гипотез можно выбрать верный путь развития бизнеса, который окажется очень прибыльным. Важно лишь правильно сформулировать идеи и заранее определить метрики для получения точных оценок.