Артем Первухин, продакшн-директор
KINETICA performance agency

Что такое сплит-тестирование и зачем оно нужно? Можно ли сравнивать изменения показателей в разные временные периоды? Агентство перфоманс-маркетинга KINETICA (с очень классным блогом про улучшение эффективности работы сайтов) рассказали о своём опыте увеличения конверсий на сайтах клиентов и объяснили, как же всё-таки увеличить доход за счёт CR, не изменяя количества входящего трафика. 


Если вы — веб-мастер, который работает по модели CPA с помощью собственного сайта (например, витрины), то прекрасно понимаете, сколько стоит трафик, насколько важен CR и почему каждый посетитель имеет значение. Действительно: небольшое изменение на сайте может принести больше пользы, чем привлечение дополнительного трафика, и при этом быть намного дешевле. Вот, о чём нам рассказали ребята из Kinetica:

Разбираемся!


Что такое CRO


CRO (от англ. conversion rate optimization) — работа над увеличением коэффициента конверсии. Она направлена на получение большего числа заявок и снижение стоимости клиента при том же объёме трафика и затратах на рекламу.

Одинаковые бюджеты, одинаковая цена клика, но во втором случае мы провели CRO, поэтому CPO (от англ. Cost per Order — стоимость заказа/покупки) стал меньше.

Чтобы улучшить коэффициент конверсии, нужно изменить структуру, технические характеристики, контент или отдельные элементы сайта. Для начала можно:

  • Исправить все технические ошибки.
  • Добиться нормальной скорости загрузки: от 50 баллов по PageSpeed Insights.
  • Добавить преимущества продукта на видное место.

Эти рекомендации общие и зачастую подходят для большинства проектов. Конечно, чтобы получить рекомендации, учитывающие особенности ниши и конкурентов, нужно проводить аудит сайта и разбираться, что может увеличить конверсию в продажи конкретно на нём.

Но есть изменения, про которые нельзя однозначно сказать, как они повлияют на коэффициент конверсии и количество заявок. Например, что лучше разместить на первом экране главной страницы: слайдер с акциями и специальными предложениями или популярные товары? Лучше вынести в заголовок H1: информацию о бесплатной доставке или рассрочке платежа?

Такие изменения называются гипотезами. Они проверяются с помощью сплит-тестирования. Для того, чтобы сформировать гипотезу и на её основании провести сплит-тестирование, вам необходимо собрать достаточное количество информации о том, что уже есть сейчас. Лучшие гипотезы основаны на репрезентативных данных, которые помогают увидеть проблемы, сделать выводы и принять решение о необходимости сплит-теста. 


Как формировать гипотезы


Данные для аудита можно получить:

1. Из систем аналитики

Установив Google Analytics (GA) и Яндекс.Метрику, вы получите большое количество данных для формирования гипотез.

Например, если у вас интернет-магазин, в GA в разделе электронной торговли «Поведение покупателей» изучите воронку, которую проходит покупатель до транзакции. Во время анализа выделите шаги, на которых «отваливается» большинство посетителей:

На примере видно, что почти 95% пользователей, которые начинают оформлять заказ, не совершают покупку. Можно пойти еще глубже и проанализировать воронку «Поведение при оформлении покупки»:

Вы увидите, на каких шагах оформления заказа у посетителей возникают проблемы. Осталось самостоятельно пройти эти шаги и посмотреть, что именно мешает закончить заказ.

Но лучше обратиться к инструментам Яндекс.Метрики — Вебвизору и Карте кликов. В них можно посмотреть записи поведения на экране и распределение кликов по элементам сайта. Так вы поймете, что изменить, чтобы снизить выпадения пользователей из воронки на самом уязвимом этапе.

Карта кликов Яндекс.Метрики

В разделе «Поведение» в отчёте «Карта поведения» Google Analytics есть цепочки переходов с одной страницы на другую. Они помогают понять, какая страница приводит к наибольшему проценту выходов, и улучшить её.

Цепочки переходов и страницы выхода в Google Analytics

В Яндекс.Метрике не так давно появился отчет «Контент». Из этого отчета вы сможете узнать информацию:

  1. О доскролах
  2. О дочтениях
  3. О переходах на другие материалы
  4. С каких устройств просматривали статью
  5. О поле и возрасте посетителей

Чтобы начать пользоваться этим отчетом, нужно настроить schema на сайте. Подробнее про контентный отчет читайте в статье блога Яндекс.Метрики.

2. Из опросов и интервью

Еще один важный источник знаний — потенциальные и действующие клиенты. Они могут ответить, почему они купили или не купили товар, какие сложности возникли, что понравилось, а что нет.

Провести такой опрос можно несколькими способами:

  1. Разместить форму или чат на сайте. Задавайте вопрос посетителю или дайте высказать свое мнение. Это поможет понять, как новые посетители относятся к вашему сайту, что им неудобно или непонятно
  2. Позвонить и задать вопросы людям, которые оставляли свои контакты.
  3. Рассылка с опросом. Мы делали так для интернет-магазина «Восток-Сервис». Отправили по базе письма с опросом, что можем улучшить и чего не хватает клиентам.

3. Анализ ЦА и конкурентов

Чтобы получить новые идеи развития, мы проводим конкурентный анализ: ищем интересные механики, изучаем, чем похожи на конкурентов и чем отличаются предложения, узнаем, что можно вынести как УТП.

Кроме того, мы анализируем ЦА и понимаем, какие этапы во время выбора проходят клиенты, какой контент изучают, какие вопросы задают, что для них является основной ценностью в товаре или услуге. С помощью этих знаний мы можем сформировать предложение и описание, которые будут эти потребности и вопросы закрывать.

Анализ ЦА для нашего клиента. Вы можете скачать полный шаблон и применить его для своего проекта. 

Также в результате таких анализов, могут быть получены новые метрики доверия.  Метрики доверия — значимая для потенциального клиента информация, которая помогает ему принять решение о покупке. Примеры метрик: информация о гарантии, бесплатной доставке, отзывы, рейтинг и многие другие в нашем совете «Что такое метрики доверия сайта и как их найти?»


Как проверить гипотезу


Если сразу внедрить изменения, есть риск неверно интерпретировать данные.

Скажем, вы изменили ключевое сообщение на сайте и по прошествии месяца оценили результат. По отношению к предыдущему месяцу коэффициент конверсии вырос в 2 раза. Означает ли это, что новый текст точно лучше старого?

К сожалению, нет. Однозначно так сказать нельзя, потому что причин такого улучшения может быть много. Например, специалист по рекламе запустил новое объявление, более удачное, чем предыдущее. Либо сам товар или услуга сезонная, а этот месяц — пик сезона.

Чтобы избежать влияния внешних факторов и однозначно оценить изменения, нужно воспользоваться сплит-тестированием. Это операция, при которой посетители сайта случайным образом делятся на группы и видят разные версии сайта в одно и то же время (в период проведения тестирования).

Сплит-тест работает так: посетители видят разную версию сайта, в зависимости от того, в какую группу они попали

При таком подходе не важно, откуда приходит трафик, как сезонность влияет на спрос и какие изменения происходят с рекламными кампаниями и объявлениями. В таком случае мы оцениваем коэффициент конверсии не в абсолютных значениях, а в относительных: положительным результатом будет изменение коэффициента конверсии в тестовом варианте относительно базового.

Коэффициент конверсии считается так: (CR теста / CR до сплита – 1) * 100%

Возьмем пример выше и посчитаем:

1% — CR основной версии

1,2% — CR тестовой версии

(1,2/1-1)*100=20% — коэффициент увеличился на 20%

Еще пример:

0,79% — CR основной версии

0,85% — CR тестовой версии

(0,85/0,79-1)*100=8% — коэффициент увеличился на 8%

Один из наших проектов, статистическая достоверность теста — 98%

Но при проведении сплит-теста нужно соблюдать основы статистики. Важно добирать статистическую значимость, чтобы не получить ложноположительный результат. Статистическая значимость показывает, какова вероятность того, что полученный результат — неслучайное стечение обстоятельств. В хрестоматийной статистике установили планку значимости в 95%. Это значит, что есть только 5-процентная вероятность, что результат будет ошибкой.

Какие нюансы учесть

Тестируем только одну цель

Нужно сразу решить, что станет основным показателем при принятии решения, успешна была кампания или нет. Чаще всего таким показателем является макроконверсия — покупка или отправка заявки. Но это может быть и микроконверсия — добавление в корзину или подписка на рассылку.

Ждем достаточно времени

Очень важно собрать статистическую значимость теста. Допустим, мы запустили тест и в базовой версии получили одну конверсию, а в тестовой — две. Означает ли это, что тестовая версия в два раза лучше? Вряд ли. Слишком мало конверсий для оценки результата. Чтобы понять, сколько нужно накопить данных, можно воспользоваться калькулятором.


Как выбрать гипотезу


В процессе формирования гипотез мы заполняем тайм-план, в котором описываем, сколько времени нужно на реализацию. Важно в первую очередь брать в работу гипотезы, которые требуют меньше времени на внедрение и при этом имеют лучший КПД.

Для простоты вы можете для каждой гипотезы сделать четыре колонки: сама гипотеза, время на внедрение, прогнозная эффективность (например, в баллах от 1 до 10), и третья это перемноженные две колонки и будет неким скорингом идей.

Пример таблицы с экономикой разных гипотез и правок

Например, переписать текст значительно быстрее и в этом смысле приоритетнее, чем переделывать логику выдачи блока «С этим товаром покупают». Возможно, гипотеза не подтвердится, и затраченное время будет бесполезно потрачено, а такой подход позволяет сократить риски. Также важно оценивать экономику гипотезы. Увеличить коэффициент конверсии в рассылку, скорее всего, менее важно, чем в покупку.

Еще одна деталь, которую важно учитывать при выборе гипотезы — запланированные изменения сайта. Если вы подготовили изменение дизайна карточки товара и запланировали его релиз, нельзя, чтобы это произошло в процессе тестирования. Иначе результаты будут необъективными. Также это может привести к ошибкам, при которых некоторые элементы на странице некорректно изменятся или пропадут вовсе.

Совокупность этих факторов дает итоговую оценку для решения, в какой сегмент распределить гипотезу — запустить в первую очередь или отложить «на потом».

Так работает сплит-тестирование: это непрерывный и цикличный процесс

Какими инструментами мы пользуемся


Мы пользуемся Google Optimize в связке с GTM. Плюсы и минусы этого подхода:

Плюсы

+ бесплатный сервис;

+ можно отслеживать результаты в Google Analytics;

+ автоматическое определение показателей достоверности;

+ не нужно лезть в код сайта для внедрения гипотез.

Минусы

– возможное мерцание экрана;

– простая логика распределения аудитории: нельзя задать сложную настройку;

– работа только с фронтендом.

Таким образом проводится большая часть сплит-тестирований, например, тестирование лучшего УТП или скидки, изменения информации в карточке товара или call-to-action.

Еще можно использовать серверное распределение:

Плюсы

+ реализация сложной логики распределения;

+ возможность тестировать что-то на бэкенде;

+ реализация не на коленке.

Минусы

– надо лезть в чужой код;

– сложнее запустить сплит, чем в варианте выше.

Например, так тестируют разные триггерные письма: отправляют две разные версии письма о забытой корзине.


Кейсы


Вот некоторые из сплит-тестов, которые мы проводили:

Изменили карточки товара интернет-магазина «Трофей»

Что проверяли

Данные для гипотезы взяли в Google Analytics: по воронке в электронной торговле видно, что самый большой отвал посетителей происходит на этапе добавления в корзину. Только 4% людей, которые посмотрели карточку товара, добавляли его:

Что сделали

Изменили карточку товара: наиболее важные элементы разместили на первом экране и в постоянной доступности, а неважные отправили на второй план.

Что получилось

Тестируемая версия сайта за месяц принесла на 220 000 ₽ больше дохода, чем основная. В этом случае клиент заплатил 36 000 ₽ по факту за успешное тестирование и в первый месяц дополнительно заработал 220 000 ₽ на 50% трафика. После внедрения на основную версию эти изменения стали приносить 400 000 ₽, а в год принесут дополнительно 4,8 млн рублей. Подробнее в статье.

Сплит-тестирование скидки для интернет-магазина спецодежды «Восток-Сервис»

Что проверяли

Обычно для рекламных кампаний интернет-магазина спецодежды «Восток-Сервис» использовали промокод со скидкой 10%. Для теста мы взяли следующие варианты:

  • без скидки (базовая модель),
  • скидка 3%,
  • скидка 5%,
  • скидка 7%,
  • скидка 10%.

Проверяли, какая скидка принесет больше прибыли.

Что сделали

Добавили разные скидки на товары:

Что получилось

Скидка в 10% показала лучший результат по количеству транзакций. Между другими скидками разница несущественная. При этом любой промокод показал результат выше, чем предложение без скидки.

На уровне дохода результат оказался менее очевидным: самой прибыльной стала скидка 5%. Процент фактических выкупов у каждого оффера одинаковый.

Сводная таблица результатов сплит-теста. Подробнее в статье

Убрали фильтр. Сплит-тест принес 700 000 ₽

Что проверяли

Фильтры в текущей версии каталога неудобны и усложняют выбор товара, гипотезу вывели, изучив статистику в Гугл Аналитикс.

Что сделали

Изменили фильтр и поиск в каталоге:

Что получилось

  1. Тестируемая версия сайта за месяц принесла на 400 000 ₽ дохода больше, чем основная.
  2. CR в покупку увеличился на 29%.

Так как на этапе сплит-тестирования на новую версию сайта идет только 50% трафика, при внедрении изменений на всех посетителей, результаты тестирования также увеличиваются. В этом случае рост ежемесячного дохода будет уже не 400 000 ₽, а 700 000–800 000 ₽. Подробнее в статье.


Сплит-тест можно сделать самостоятельно или делегировать тем, кто на этом уже собаку съел. Например, у KINETICA есть два варианта тарифов: оплата по затраченным часам без привязки к результату или оплата только в случае роста коэффициента конверсии. В первом случае ищутся потери и точки роста, составляется план работ и совместно с клиентом формируются гипотезы, внедряется код подмены, снимается результат и формируется отчёт. Во втором случае специалисты агентства узнают, что нельзя менять на административном уровне (фирменные цвета, цены на товары и другое), сами формируют гипотезы, внедряют её и формируют отчёт по итогам работы.

4 комментария
  1. Аватар

    Здравствуйте. Читая подраздел «Разместить форму на сайте», я так и не узнал-как это сделать? Как сделать опрос на блоге-подскажите пожалуйста по этим вопросам? Буду премного благодарен.

    1. Admitad Academy

      Вы можете поискать quiz-плагины для сайта, либо воспользоваться бесплатной версией SurveyMonkey или Google-формами

    1. Admitad Academy

      Вы можете делать баннеры самостоятельно, однако вам необходимо направлять их рекламодателю через тикеты на согласование. Рекомендуем на старте пользоваться уже готовыми материалами, загруженными в систему.

Отставить отзыв

Ваш адрес email не будет опубликован. Обязательные поля помечены *