Как запустить сплит-тест: 13 обязательных шагов

Как запустить сплит-тест: 13 обязательных шагов - Boosta.ru

Первый раз собираетесь запустить сплит-тест? Не хотите облажаться? Просто соблюдайте правила, которые описаны в этом чек-листе. Всего 13 шагов и эксперимент запущен.

Как запустить сплит-тест: 13 обязательных шагов - Boosta.ruАвтор: Сергей Гудков
Занимаюсь маркетингом, сайтами и продажами в интернете 9 лет. В 2011 запустил интернет-магазин с нуля до оборота в $100 тыс. Специализируюсь на повышении продаж и увеличении конверсии. Веду блог Gudkovsa.net и отдельно e-mail рассылку Cases & Practice с описанием интересных кейсов из своей практики.


Регулярно запуская сплит-тесты, я выработал некие правила, которые превратились в этот чек-лист.

С помощью этого чек-листа, я запустил множество действительно успешных экспериментов. Вот один из примеров:

Как запустить сплит-тест: 13 обязательных шагов - Boosta.ru

А теперь перейдём к чеклисту.


1. Вы понимаете и легко можете объяснить, что измените и на какой показатель это повлияет


Это называют гипотезой. Любой тест начинается именно с гипотезы. Правильное формирование гипотезы это 99% успеха вашего теста.

Гипотеза может строиться по такому простому шаблону: «Если мы изменим элемент X на элемент Y, то увеличится показатель Z».

Если у вас мало опыта, то используйте именно этот шаблон.

Для создания хороших гипотез используйте сервисы веб-аналитики, анализа поведения пользователей, проведения опросов.


2. Вы легко можете объяснить, почему это увеличит конверсию


90% ваших гипотез должны быть обоснованы. Что это значит?

Если ваш сосед по даче посоветует перекрасить кнопку «купить» в красный, прежде чем делать, надо спросить «зачем?» и «как это увеличит мои продажи?».

Здесь важно помнить, что разные решения работают в разных бизнесах, на разных сайтах, в разных ситуациях. Каждое решение обязательно нужно адаптировать.

Например. У вас в магазине подарков есть фильтры:

  • цена
  • для кого: «для мужчины», «для женщины», «для пары»

Вам все советуют добавить еще один фильтр «тип подарка». Например, «необычные», «смешные», «для дома» и т.д.

Это звучит очень логично. Добавляя фильтр, вы сокращаете кол-во кликов до нужного товара и конверсия должна рости. Вы сразу запускаете сплит-тест. Тест показывает, что конверсия падает. Почему?

Это происходит потому, что покупатель не знает какой именно подарок он ищет. Покупатель точно знает для кого подарок, но какой — это еще вопрос. Просто есть мысли и пожаления.

В этом случае нам надо показать как можно больший и разнообразный ассортимент. Дополнительные фильтры сужают ассортимент, который покупатель увидит на вашем сайте. И таким образом уменьшают конверсию.

Если бы мы подумали над обоснованием гипотезы перед запуском теста, то мы сэкономили бы месяц времени и ресурсы на запуск и проведение теста.


3. Большинство людей с вами согласны


Когда вы придумали обоснование, обязательно расскажите коллегам. Они должны быть с вами согласны. Посоветуйтесь с маркетологами из других компаний.

Когда мы сами придумываем обоснование, оно нам кажется супер логичным. Большой риск попасть в ловушку субъективного решения.

Такая же ситуация имеет место быть, когда вы смотрите на свой сайт и вам всё нравится. Кажется, что всё идеально. Но стоит лишь взглянуть компетентному человеку со стороны, как сразу обнаруживаются недостатки. Не верите? Просто проверьте это утверждение.

Важно: спрашивайте мнение компетентных людей, которые разбираются в этой сфере. Если вы будете обсуждать этот вопрос с теми, кто не “в теме”, то их мнение может только ввести в заблуждение и привести к долгим спорам.

4. Определен сегмент трафика для теста

Посетители из поиска, у которых в запросе было имя вашего бренда («брендовый трафик»), имеют совершенно другую мотивацию к покупке, чем остальной трафик. Согласны?

Давайте проведем тест без учета брендового трафика. Посмотрим как реально изменяется конверсия. Так же можно исключить партнерский трафик, если он более «горячий».

В идеале, трафик, который участвует в эксперименте должен быть одинаковым. А даже если запускаете эксперимент для всего трафика, потом обязательно сегментируйте результаты и анализируйте их относительного отдельных сегментов: платный трафик, реферальный, органический.

Brian Eisenberg в своей книге, посвящённой A/B тестированию пишет о том, что однородность трафика сильно влияет на достоверность результатов. И в этом с ним нельзя не согласиться.


5. Определен целевой показатель для оценки теста


Возможно вы удивитесь, но конверсия в большинстве случаев не целевой показатель оценки теста.

Например, мы проводим тест на карточке товара и меняем кнопку «купить» или призыв к действию, то нашим целевым показателем будет клик на кнопку купить.

Второй пример. Мы запускаем тест на витрине магазина и тестируем бирки «топ продаж», «выбор большинства». Нашим целевым показателем будет переход с витрины на карточку товара.

Использование локальных показателей позволяет проводить тесты даже на маленьким трафике. Почему так происходит я описывал у себя в блоге. Вот пример:

Как запустить сплит-тест: 13 обязательных шагов - Boosta.ru

6. Настроен сбор данных по целевому показателю

Вроде бы очевидный пункт, но многие его упускают. Особенно если речь идёт о сложных показателях.

Давайте рассмотрим пример с витриной магазина и переходом на карточки товара.

На первый взгляд может показаться, что можно посмотреть на кол-во посещений карточек товара. Но это не так.

На карточку товара посетитель попадает со страницы каталога (там мы проводим тест), со страницы другой карточки (рекомендации, up sale, cross sale), с корзины или карточка товара является страницей входа на сайт.

Потому отслеживать надо именно переходы с каталога. Лучше всего поставить отслеживание события.

Важно: прежде чем запускать тест, обязательно настройте все цели на сайте. Одну из этих целей вы будете использовать прямо в эксперименте, а влияние на остальные будете анализировать после эксперимента.


7. Определены контрольные показатели (конверсия, средний чек, стоимость заказа и т.д.)


Улучшая один конкретный шаг воронки, мы часто забываем о бизнес показателях.

Например, мы сделали мега-призыв на карточке товара и добавления в корзину выросли на 20%. Люди стали совершать больше эмоциональных кликов, но средний чек упал. Почему?

Более дешевые товары проще купить на эмоциях. Но здесь надо понимать как изменился общий объем продаж.

Есть два варианта:

  • эмоциональные покупки добавились к общему объему продаж;
  • эмоциональные покупки вытеснили более взвешенные покупки в дорогом сегменте и объем продаж снизился.

Чтобы не сделать хуже бизнесу в погоне за показателями сайта обязательно отслеживайте основные бизнес показатели:

  • конверсия сайта (ecommerce conversion rate)
  • средний чек
  • стоимость заказа (CPO — cost per order)
  • объем продаж (штуки / деньги)
  • и т.д.

Все эти показатели можно отслеживать в Google Analytics. В отчете «Обзор электронной торговли» можно отследить: конверсию, средний чек (средняя стоимость заказов), объекм продаж (Доход и количество).

Стоимость заказа можно посчитать разделив все затраты на рекламу на транзакции. Например, если вы инвестировали в рекламу $1000 в месяц и получили 50 заказов, то получается: CPO = $1000 / 50 заказов = 20 $/заказ.

Как запустить сплит-тест: 13 обязательных шагов - Boosta.ru

8. Настроен сбор всех контрольных показателей


Вы умеете отслеживать все показатели из п.7. Вообще эти показатели должны входить в вашу таблицу KPI и должны быть настроены уже давно.

Так же должны быть настроены основные цели сайта.

Как запустить сплит-тест: 13 обязательных шагов - Boosta.ru

Помимо созданных целей, есть ещё базовые показатели отказов, средней длительности сеанса на сайте, среднего количества просмотренных страниц за сеанс. Иногда в ходе A/B теста все контрольные показатели могут быть одинаковы, а базовые — сильно изменятся. Поэтому проверяйте и их.


9. Определен минимальный срок теста


Сплит-тестирование — это как новая игрушка в руках маркетологов и руководителей. Я постоянно вижу одну и ту же ошибку: Тест уже показывает выигрыш варианта Б. Зачем нам ждать окончания теста, если у же и так всё очевидно.

Типичная ситуация. Особенно в том случае, когда внешний специалист делает A/B тесты для своего заказчика. Часто возникает такая проблема: заказчик хочет проводить A/B тесты быстрее, чтобы меньше платить за работу. Но специалист по A/B тестированию не может делать эксперименты быстрее.

В итоге либо специалист сможет отстоять свою позицию и будет проводить достоверные эксперименты, либо заказчик победит и тесты будут останавливаться при первых положительных или отрицательных результатах.

В Google Analytics специально есть параметр указыващий минимальный срок продолжительности теста. Это значит, что даже если система определит победителя в первый день, то тест продолжится дальше.

Я советую использовать срок принятия решения о покупке. Если этот срок — 14 дней, то держите эксперимент именно столько времени. Если вы думаете, что ваши клиенты принимают решение за 1 день, то всё равно поставьте минимум 7 дней.

Для A/B экспериментов крайне важно выдерживать 7 дней, а лучше даже 14. Следите также за тем, чтобы статистическая достоверность превышала 95 %.

Когда тест побеждает система вам об этом сообщит. Например, Google Analytics делает это так:

Как запустить сплит-тест: 13 обязательных шагов - Boosta.ru

10. Определен максимальный срок теста (если нет победителя)


Иногда такое случается. Google Analytics сам умеет останавливать тест, если долгое время нет победителя.

Как посчитать это время? Есть множество калькуляторов для сплит-тестов. Воспользуйтесь одним из них и посчитайте сколько надо времени на Ваш тест. Добавьте еще немного и этого будет достаточно.


11. Написан список всех вариантов дальнейших действий


К сожалению сплит-тесты заканчиваются не только победой или проигрышом. Есть вариант «ничья». В своей рассылке c кейсами «Cases & Practice» я рассказываю об одном таком кейсе.

В таком случае надо заранее знать какой вариант будет внедрён. Возможно вариант Б не принёс увеличение продаж сейчас, но открывает новые возможности. Или же вариант Б просто выглядит гораздо приятнее и функциональнее, то тогда стоит выбирать его.

Но всё же решить это лучше до запуска теста!


12. Все получили инструкции (новые скрипты для call-центра)


Часто тестируются не интерфейсные изменения, а изменения предложения (offer).

Например, увеличиваем срок возврата и обмена товара до 30 дней или до 3 месяцев. Внесли изменения на сайт и запустили. Звонит клиент и спрашивает «А действительно возврат и обмен до 3 месяцев?» — «Конечно НЕТ!!!», — отвечает оператор.

Для этого все участники процесса должны быть уведомлены и получить инструкции как вести себя в таких ситуациях.


13. Вы лично «протестировали» все вариации в режиме инкогнито


Сразу после запуска теста, вы лично зашли и проверили:

  • все вариации теста (как это выглядит)
  • проверили основные функции (добавление в корзину, покупка)
  • на протяжении нескольких часов внимательно следите за посещаемостью и заявками на обе варианции.

Это обязательный и очень важный этап. Как всегда учился на собственных граблях.

Поверил программистам. Тест через неделю проиграл. Я был в варианте А. Жалко было, что тест проиграл. Пошёл анализировать ситуацию и оказалось, что там была ошибка. Кнопка отрабатывала через раз. Исправили. Тест пришлось перезапускать.

Важно: когда пытаетесь проверить отображение тестового варианта в режиме инкогнито, если открыли одну вкладку и попали на оригинальный вариант, то закройте эту вкладку. После этого открывайте новую 1 вкладку инкогнито для проверки. И так, пока не попадёте на тестовый вариант.

Если же вы сразу же откроете 5 вкладок инкогнито и вставите туда ссылку, где должен отображаться эксперимент, то именно та страница, которая отобразится на 1-ой вкладке, будет открываться и на всех остальных.

Надеюсь, что этот пошаговый чеклист поможет вам при запуске A/B экспериментов.


👉👉👉 Поделитесь этой статьей в социальных сетях, чтобы Ваши друзья и коллеги тоже могли прокачаться в интернете-маркетинге: 👇👇👇