Битва за конверсию: Ответ Retail Rocket

Смотрите в каталоге
Веб-статистика

В соответствии с соглашением о неразглашении конфиденциальной информации, мы не можем публиковать показатели, отражающие результаты деятельности интернет-магазина, на котором проходил тест. По этому в отчете приводятся только относительные показатели, установленные в результате А/Б теста, которые отражают разницу в эффективности сервисов. Отличительной особенностью этого кейса является то, что специалисты интернет-магазина в своем пост-тест анализе использовали данные о фактически проданных заказах, а не об оформленных, как это обычно бывает. Спешим поделиться деталями!

Описание теста

Исследование эффективности работы сервисов проводилось с помощью механики А/Б-тестирования и настраивалось специалистами интернет-магазина. Вся аудитория сайта случайным образом в реальном времени делилась на равные сегменты. Одному сегменту показывались товарные рекомендации Retail Rocket, другому – Crossss. Идентификатор каждого сегмента посетителей передавался в систему Google Analytics и в учетную систему интернет-магазина.

Пост-тест анализ специалистами Retail Rocket с помощью Google Analytics

По данным Google Analytics, в рамках тестирования проводился анализ более 400000 сессий пользователей. Сайт клиента имеет очень большой трафик и в веб-интерфейсе GA нет возможности анализировать данные без сэмплирования (неточного построения отчетов на основе небольшой выборки данных). Поэтому для выгрузки сырых данных без сэмплирования мы использовали API Google Analytics и получили следующие данные:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,33%-4,48%-0,35%

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

Битва за конверсию: Ответ Retail Rocket

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

При этом, в сегменте Crossss наблюдается рост среднего чека, что в итоге сводит на нет разницу по выручке между сегментами. Однако, разница по среднему чеку не является статистически значимой.

За время теста в сегмент Crossss попали 2 аномально больших заказа на 194400 руб.и 422840 руб. (суммы заказов превышают средний чек магазина в сотни раз, а в самом заказе содержатся 1-2 товара, заказанные в огромном количестве), для сравнения – в сегменте Retail Rocket стоимость самого крупного за время теста заказа ~35000 рублей).

Битва за конверсию: Ответ Retail Rocket

Если убрать эти два аномально больших заказа из данных для анализа, получим следующие результаты:

# КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,35%+0,86%+5,25%

Как видно из таблицы, убрав 2 аномальных заказа из данных для пост-тест анализа получаем, что Retail Rocket увеличивает средний чек чуть менее чем на 1%.

Вероятность попадания таких разовых заказов в любой из сегментов теста велика. Распространенной практикой для пост-тест анализа является удаление небольшого процента самых дорогих заказов из каждого сегмента, чтобы полностью исключить локальные пики в выручке, на которые в большинстве случаев тестируемые элементы не влияют. Удалив из обоих сегментов по 10 самых дорогих заказов, получим:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,32%+1,16%+5,53%

Как видно из таблицы, ситуация практически не изменилась.

Пост-тест анализ специалистами интернет-магазина на основе данных внутренней системы аналитики (с учетом аннулированных заказов и заказов колл-центра, которые оформлялись через сайт)

Один из самых точных способов оценки экономической эффективности любой функциональности сайта – исключение из данных для пост-тест анализа заказов, которые не отражают эффективности тестируемого изменения и искажают результаты исследования: тестовые заказы сотрудников магазина, фейковые заказы различных «шутников», заказы операторов колл-центра и так далее.

Именно такие «очищенные» данные использовали при анализе А/Б теста специалисты самого интернет-магазина. Полученные результаты приведены ниже:

# Выручка на посетителя по оформленным заказам (за исключением аннулированных и колл-центра)Средний чек по оформленным заказам (за исключением аннулированных и колл-центра)Выручка на посетителя по исполненным заказам
Преимущество Retail Rocket+10,4%+4,7%+11,1%

Как видно из таблицы, преимущество системы Retail Rocket по выручке от исполненных заказов в два раза выше, чем по выручке от размещенных.

Выводы

1. По результатам тестирования Retail Rocket увеличивает «размещенную выручку» (без учета аннуляций, исполняемости и т.д.) интернет-магазина на 5,53% по сравнению с системой Crossss. Статистическая значимость результатов тестирования >99%.

2. По результатам анализа аннуляции и исполняемости заказов сотрудниками интернет-магазина, в сегменте Retail Rocket выручка на 11,1% превышает показатели системы Crossss (в абсолютных цифрах это миллионы рублей в месяц).

3. В рамках теста проводился сравнительный анализ только тех механик рекомендаций, которые есть у системы Crossss. В системе Retail Rocket есть целый ряд продуктов, внедрение которых позволит значительно повысить экономическую отдачу от системы. Пример – персонализация главной страницы по принципу Ozon.ru. Нашим клиентам, Dostavka.ru, только с помощью этого одного сценария подняли выручку на 8,5%.

Компании и сервисы: Google Analytics, Crossss, Retail Rocket
Автор: igor-nazarov

Подписаться на новости

Читайте также

20 апреля / Комментарии

МТТ определил тренды в digital-маркетинге

ОАО «МТТ», федеральный провайдер интеллектуальных решений для бизнеса, впервые провел масштабное исследование уровня автоматизации маркетинга бизнеса в России.

далее →

20 апреля / Комментарии

Преимущества использования автоматизации в программатике

Буквально в течение трех последних лет, экосистема программатика существенно увеличила cвою долю от общего рынка цифровой рекламы. Персонализированный ретаргетинг, в частности, определен как ее наиболее быстрорастущий сегмент. Использование автоматизации (особенно метода глубокого обучения) поможет вплотную приблизить рекламодателей к достижению поставленных целей.

далее →

19 апреля / Комментарии

Интернет-торговля в России 2018: цифры и факты

19 апреля Федор Вирин выступил на РИФ 2018 с докладом "Интернет-торговля в России 2018", в котором представил ключевые цифры 2018 года и прогнозы.

далее →

19 апреля / Комментарии

Аналитика онлайн-рынка китайских товаров

Компания OT Commerce проанализировали статистику интернет-магазинов, созданных на базе платформы ОТ. Собранные данные показывают наиболее общую картину о состоянии рынка китайских товаров Таобао/1688.

далее →

17 апреля / Комментарии

Обсуждение с экспертами мартовских новостей онлайн-ритейла

Наши эксперты: Александр Субцельный, руководитель агентства MailStep; Михаил Конев, директор службы доставки Boxberry; Диана Голяш, исполнительный директор Siten Group; Юлия Сяглова, преподаватель кафедры маркетинга Института отраслевого менеджмента (ИОМ) РАНХиГС; Клим Миронов, CTO Digital-агентства PICONSULT; Евгений Харьков, ведущий аналитик digital-агентства webit; Петр Тованов, медиабайер Купибилет...

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook