Битва за конверсию: Ответ Retail Rocket

Смотрите в каталоге
Веб-статистика

В соответствии с соглашением о неразглашении конфиденциальной информации, мы не можем публиковать показатели, отражающие результаты деятельности интернет-магазина, на котором проходил тест. По этому в отчете приводятся только относительные показатели, установленные в результате А/Б теста, которые отражают разницу в эффективности сервисов. Отличительной особенностью этого кейса является то, что специалисты интернет-магазина в своем пост-тест анализе использовали данные о фактически проданных заказах, а не об оформленных, как это обычно бывает. Спешим поделиться деталями!

Описание теста

Исследование эффективности работы сервисов проводилось с помощью механики А/Б-тестирования и настраивалось специалистами интернет-магазина. Вся аудитория сайта случайным образом в реальном времени делилась на равные сегменты. Одному сегменту показывались товарные рекомендации Retail Rocket, другому – Crossss. Идентификатор каждого сегмента посетителей передавался в систему Google Analytics и в учетную систему интернет-магазина.

Пост-тест анализ специалистами Retail Rocket с помощью Google Analytics

По данным Google Analytics, в рамках тестирования проводился анализ более 400000 сессий пользователей. Сайт клиента имеет очень большой трафик и в веб-интерфейсе GA нет возможности анализировать данные без сэмплирования (неточного построения отчетов на основе небольшой выборки данных). Поэтому для выгрузки сырых данных без сэмплирования мы использовали API Google Analytics и получили следующие данные:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,33%-4,48%-0,35%

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

Битва за конверсию: Ответ Retail Rocket

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

При этом, в сегменте Crossss наблюдается рост среднего чека, что в итоге сводит на нет разницу по выручке между сегментами. Однако, разница по среднему чеку не является статистически значимой.

За время теста в сегмент Crossss попали 2 аномально больших заказа на 194400 руб.и 422840 руб. (суммы заказов превышают средний чек магазина в сотни раз, а в самом заказе содержатся 1-2 товара, заказанные в огромном количестве), для сравнения – в сегменте Retail Rocket стоимость самого крупного за время теста заказа ~35000 рублей).

Битва за конверсию: Ответ Retail Rocket

Если убрать эти два аномально больших заказа из данных для анализа, получим следующие результаты:

# КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,35%+0,86%+5,25%

Как видно из таблицы, убрав 2 аномальных заказа из данных для пост-тест анализа получаем, что Retail Rocket увеличивает средний чек чуть менее чем на 1%.

Вероятность попадания таких разовых заказов в любой из сегментов теста велика. Распространенной практикой для пост-тест анализа является удаление небольшого процента самых дорогих заказов из каждого сегмента, чтобы полностью исключить локальные пики в выручке, на которые в большинстве случаев тестируемые элементы не влияют. Удалив из обоих сегментов по 10 самых дорогих заказов, получим:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,32%+1,16%+5,53%

Как видно из таблицы, ситуация практически не изменилась.

Пост-тест анализ специалистами интернет-магазина на основе данных внутренней системы аналитики (с учетом аннулированных заказов и заказов колл-центра, которые оформлялись через сайт)

Один из самых точных способов оценки экономической эффективности любой функциональности сайта – исключение из данных для пост-тест анализа заказов, которые не отражают эффективности тестируемого изменения и искажают результаты исследования: тестовые заказы сотрудников магазина, фейковые заказы различных «шутников», заказы операторов колл-центра и так далее.

Именно такие «очищенные» данные использовали при анализе А/Б теста специалисты самого интернет-магазина. Полученные результаты приведены ниже:

# Выручка на посетителя по оформленным заказам (за исключением аннулированных и колл-центра)Средний чек по оформленным заказам (за исключением аннулированных и колл-центра)Выручка на посетителя по исполненным заказам
Преимущество Retail Rocket+10,4%+4,7%+11,1%

Как видно из таблицы, преимущество системы Retail Rocket по выручке от исполненных заказов в два раза выше, чем по выручке от размещенных.

Выводы

1. По результатам тестирования Retail Rocket увеличивает «размещенную выручку» (без учета аннуляций, исполняемости и т.д.) интернет-магазина на 5,53% по сравнению с системой Crossss. Статистическая значимость результатов тестирования >99%.

2. По результатам анализа аннуляции и исполняемости заказов сотрудниками интернет-магазина, в сегменте Retail Rocket выручка на 11,1% превышает показатели системы Crossss (в абсолютных цифрах это миллионы рублей в месяц).

3. В рамках теста проводился сравнительный анализ только тех механик рекомендаций, которые есть у системы Crossss. В системе Retail Rocket есть целый ряд продуктов, внедрение которых позволит значительно повысить экономическую отдачу от системы. Пример – персонализация главной страницы по принципу Ozon.ru. Нашим клиентам, Dostavka.ru, только с помощью этого одного сценария подняли выручку на 8,5%.

Компании и сервисы: Google Analytics, Crossss, Retail Rocket
Автор: Игорь Назаров

Подписаться на новости

Читайте также

20 января / Комментарии

Анализ данных по товарам общего спроса на Avito в России в IV квартале 2016 года

В IV квартале российский рынок потребительских товаров продолжил восстанавливаться после спада, характерного для начала года. Интерес потенциальных покупателей (количество запрошенных контактов по объявлениям*) к товарам общего спроса за квартал по сравнению с аналогичным периодом прошлого года вырос на 34%, по сравнению с предыдущим кварталом  –  на 9%.

далее →

17 января / Комментарии

10 главных трендов электронной торговли 2017 года

Аналитики компании PayU изучили основные тенденции сектора электронной коммерции и составили их топ-10 на 2017 год. Вы удивитесь, но мобильные технологии больше не возглавляют этот рейтинг.

далее →

13 января / Комментарии

5 главных трендов в Programmatic-рекламе в 2017 году

Международная ad tech компания GetIntent подготовила подборку трендов в programmatic-индустрии: 5 главных трендов, которые с большой долей вероятности ожидают рынок programmatic-рекламы в России в 2017 году.

далее →

11 января / Комментарии

Шпаргалка по ключевым терминам Яндекс.Директа

В интернете много споров о том, что влияет на цену клика в Директе, а что нет. И как эти показатели связаны между собой. Ориентируясь на вопросы рекламодателей и некоторые популярные мифы, команда Яндекс.Директа заново описала ключевые термины из правил показа и интерфейса на двух шпаргалках.

далее →

9 января / Комментарии

Самые динамично растущие товары Яндекс.Маркета за декабрь 2016 – к ноябрю 2016

Алексей Петровский, главный аналитик Price.ru выяснил чем был популярен декабрь 2016 в части запросов   – приводящий трафик на Яндекс.Маркет, и у каких товарных позиций оказалась наилучшая динамика.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook