Битва за конверсию: Ответ Retail Rocket

Смотрите в каталоге
Системы персонализации

В соответствии с соглашением о неразглашении конфиденциальной информации, мы не можем публиковать показатели, отражающие результаты деятельности интернет-магазина, на котором проходил тест. По этому в отчете приводятся только относительные показатели, установленные в результате А/Б теста, которые отражают разницу в эффективности сервисов. Отличительной особенностью этого кейса является то, что специалисты интернет-магазина в своем пост-тест анализе использовали данные о фактически проданных заказах, а не об оформленных, как это обычно бывает. Спешим поделиться деталями!

Описание теста

Исследование эффективности работы сервисов проводилось с помощью механики А/Б-тестирования и настраивалось специалистами интернет-магазина. Вся аудитория сайта случайным образом в реальном времени делилась на равные сегменты. Одному сегменту показывались товарные рекомендации Retail Rocket, другому – Crossss. Идентификатор каждого сегмента посетителей передавался в систему Google Analytics и в учетную систему интернет-магазина.

Пост-тест анализ специалистами Retail Rocket с помощью Google Analytics

По данным Google Analytics, в рамках тестирования проводился анализ более 400000 сессий пользователей. Сайт клиента имеет очень большой трафик и в веб-интерфейсе GA нет возможности анализировать данные без сэмплирования (неточного построения отчетов на основе небольшой выборки данных). Поэтому для выгрузки сырых данных без сэмплирования мы использовали API Google Analytics и получили следующие данные:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,33%-4,48%-0,35%

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

Битва за конверсию: Ответ Retail Rocket

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

При этом, в сегменте Crossss наблюдается рост среднего чека, что в итоге сводит на нет разницу по выручке между сегментами. Однако, разница по среднему чеку не является статистически значимой.

За время теста в сегмент Crossss попали 2 аномально больших заказа на 194400 руб.и 422840 руб. (суммы заказов превышают средний чек магазина в сотни раз, а в самом заказе содержатся 1-2 товара, заказанные в огромном количестве), для сравнения – в сегменте Retail Rocket стоимость самого крупного за время теста заказа ~35000 рублей).

Битва за конверсию: Ответ Retail Rocket

Если убрать эти два аномально больших заказа из данных для анализа, получим следующие результаты:

# КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,35%+0,86%+5,25%

Как видно из таблицы, убрав 2 аномальных заказа из данных для пост-тест анализа получаем, что Retail Rocket увеличивает средний чек чуть менее чем на 1%.

Вероятность попадания таких разовых заказов в любой из сегментов теста велика. Распространенной практикой для пост-тест анализа является удаление небольшого процента самых дорогих заказов из каждого сегмента, чтобы полностью исключить локальные пики в выручке, на которые в большинстве случаев тестируемые элементы не влияют. Удалив из обоих сегментов по 10 самых дорогих заказов, получим:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,32%+1,16%+5,53%

Как видно из таблицы, ситуация практически не изменилась.

Пост-тест анализ специалистами интернет-магазина на основе данных внутренней системы аналитики (с учетом аннулированных заказов и заказов колл-центра, которые оформлялись через сайт)

Один из самых точных способов оценки экономической эффективности любой функциональности сайта – исключение из данных для пост-тест анализа заказов, которые не отражают эффективности тестируемого изменения и искажают результаты исследования: тестовые заказы сотрудников магазина, фейковые заказы различных «шутников», заказы операторов колл-центра и так далее.

Именно такие «очищенные» данные использовали при анализе А/Б теста специалисты самого интернет-магазина. Полученные результаты приведены ниже:

# Выручка на посетителя по оформленным заказам (за исключением аннулированных и колл-центра)Средний чек по оформленным заказам (за исключением аннулированных и колл-центра)Выручка на посетителя по исполненным заказам
Преимущество Retail Rocket+10,4%+4,7%+11,1%

Как видно из таблицы, преимущество системы Retail Rocket по выручке от исполненных заказов в два раза выше, чем по выручке от размещенных.

Выводы

1. По результатам тестирования Retail Rocket увеличивает «размещенную выручку» (без учета аннуляций, исполняемости и т.д.) интернет-магазина на 5,53% по сравнению с системой Crossss. Статистическая значимость результатов тестирования >99%.

2. По результатам анализа аннуляции и исполняемости заказов сотрудниками интернет-магазина, в сегменте Retail Rocket выручка на 11,1% превышает показатели системы Crossss (в абсолютных цифрах это миллионы рублей в месяц).

3. В рамках теста проводился сравнительный анализ только тех механик рекомендаций, которые есть у системы Crossss. В системе Retail Rocket есть целый ряд продуктов, внедрение которых позволит значительно повысить экономическую отдачу от системы. Пример – персонализация главной страницы по принципу Ozon.ru. Нашим клиентам, Dostavka.ru, только с помощью этого одного сценария подняли выручку на 8,5%.

Компании и сервисы: Crossss, Retail Rocket, Google Analytics
Автор: Игорь Назаров

Подписаться на новости

Читайте также

17 февраля / Комментарии

Тренды eсommerce: мужчины VS женщины

Просторы Интернета дали нашим современникам такие возможности для шоппинга, каких мы не могли себе представить еще десять лет назад. Пресс-центр PayOnline решил разобраться, насколько отличается поведение мужчин и женщин при совершении покупок в Интернете, - и подготовил инфографику «Мужчины VS женщины. Тренды eCommerce».

далее →

16 февраля / Комментарии

Ближайшие перспективы и направления развития интернет-торговли

Национальная ассоциация дистанционной торговли (НАДТ), лидер российского рынка экспресс-доставки DPD и ведущий логистический оператор рынка e-commerce PickPoint, объявили итоги исследования e-Commerce FUTURUM 2022, включающие оценку популярных ИТ-концептов, технологий и сервисов для онлайн-торговли и вероятность их развития в ближайшем будущем.

далее →

13 февраля / Комментарии

Возраст имеет значение. Особенности восприятия рекламы

Для анализа мы использовали методику пассивного наблюдения за посетителями сайтов, разработанную исследовательской компанией Online Market Intelligence (OMI). Она позволяет определять базовые параметры работы интернет-магазинов без проведения опросов. При этом у ресечеров имеется достаточно много информации не только о действиях посетителей, но и их социально-демографических параметрах: поле, возрасте, доходе, численности семьи, наличие детей и др.

далее →

7 февраля / Комментарии

Реальный e-commerce. Практические аспекты запуска, продвижения и эксплуатации интернет-магазинов. Часть 2

Мы продолжаем начатый в декабре прошлого года цикл публикаций, в котором представители отрасли делятся своими мнениями о различных составляющих успеха интернет-магазина.
На наши вопросы любезно согласились ответить представители компаний CS-Cart, Payler, Alltrades.ru,  SiteSecure, EcommPay, Айри.рф и многих других.

далее →

6 февраля / Комментарии

Сколько стоит современный товарный контент?

Все компании рано или поздно задумываются о том, сколько же они тратят на cамостоятельное создание и поддержку своих онлайн-каталогов товаров. Давайте посмотрим, из каких слагаемых  складывается, собственно, себестоимость производства контента. Рассмотрим мы это на примере трех случаев.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook