Битва за конверсию: Ответ Retail Rocket

Смотрите в каталоге
Системы персонализации

В соответствии с соглашением о неразглашении конфиденциальной информации, мы не можем публиковать показатели, отражающие результаты деятельности интернет-магазина, на котором проходил тест. По этому в отчете приводятся только относительные показатели, установленные в результате А/Б теста, которые отражают разницу в эффективности сервисов. Отличительной особенностью этого кейса является то, что специалисты интернет-магазина в своем пост-тест анализе использовали данные о фактически проданных заказах, а не об оформленных, как это обычно бывает. Спешим поделиться деталями!

Описание теста

Исследование эффективности работы сервисов проводилось с помощью механики А/Б-тестирования и настраивалось специалистами интернет-магазина. Вся аудитория сайта случайным образом в реальном времени делилась на равные сегменты. Одному сегменту показывались товарные рекомендации Retail Rocket, другому – Crossss. Идентификатор каждого сегмента посетителей передавался в систему Google Analytics и в учетную систему интернет-магазина.

Пост-тест анализ специалистами Retail Rocket с помощью Google Analytics

По данным Google Analytics, в рамках тестирования проводился анализ более 400000 сессий пользователей. Сайт клиента имеет очень большой трафик и в веб-интерфейсе GA нет возможности анализировать данные без сэмплирования (неточного построения отчетов на основе небольшой выборки данных). Поэтому для выгрузки сырых данных без сэмплирования мы использовали API Google Analytics и получили следующие данные:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,33%-4,48%-0,35%

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

Битва за конверсию: Ответ Retail Rocket

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

При этом, в сегменте Crossss наблюдается рост среднего чека, что в итоге сводит на нет разницу по выручке между сегментами. Однако, разница по среднему чеку не является статистически значимой.

За время теста в сегмент Crossss попали 2 аномально больших заказа на 194400 руб.и 422840 руб. (суммы заказов превышают средний чек магазина в сотни раз, а в самом заказе содержатся 1-2 товара, заказанные в огромном количестве), для сравнения – в сегменте Retail Rocket стоимость самого крупного за время теста заказа ~35000 рублей).

Битва за конверсию: Ответ Retail Rocket

Если убрать эти два аномально больших заказа из данных для анализа, получим следующие результаты:

# КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,35%+0,86%+5,25%

Как видно из таблицы, убрав 2 аномальных заказа из данных для пост-тест анализа получаем, что Retail Rocket увеличивает средний чек чуть менее чем на 1%.

Вероятность попадания таких разовых заказов в любой из сегментов теста велика. Распространенной практикой для пост-тест анализа является удаление небольшого процента самых дорогих заказов из каждого сегмента, чтобы полностью исключить локальные пики в выручке, на которые в большинстве случаев тестируемые элементы не влияют. Удалив из обоих сегментов по 10 самых дорогих заказов, получим:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,32%+1,16%+5,53%

Как видно из таблицы, ситуация практически не изменилась.

Пост-тест анализ специалистами интернет-магазина на основе данных внутренней системы аналитики (с учетом аннулированных заказов и заказов колл-центра, которые оформлялись через сайт)

Один из самых точных способов оценки экономической эффективности любой функциональности сайта – исключение из данных для пост-тест анализа заказов, которые не отражают эффективности тестируемого изменения и искажают результаты исследования: тестовые заказы сотрудников магазина, фейковые заказы различных «шутников», заказы операторов колл-центра и так далее.

Именно такие «очищенные» данные использовали при анализе А/Б теста специалисты самого интернет-магазина. Полученные результаты приведены ниже:

# Выручка на посетителя по оформленным заказам (за исключением аннулированных и колл-центра)Средний чек по оформленным заказам (за исключением аннулированных и колл-центра)Выручка на посетителя по исполненным заказам
Преимущество Retail Rocket+10,4%+4,7%+11,1%

Как видно из таблицы, преимущество системы Retail Rocket по выручке от исполненных заказов в два раза выше, чем по выручке от размещенных.

Выводы

1. По результатам тестирования Retail Rocket увеличивает «размещенную выручку» (без учета аннуляций, исполняемости и т.д.) интернет-магазина на 5,53% по сравнению с системой Crossss. Статистическая значимость результатов тестирования >99%.

2. По результатам анализа аннуляции и исполняемости заказов сотрудниками интернет-магазина, в сегменте Retail Rocket выручка на 11,1% превышает показатели системы Crossss (в абсолютных цифрах это миллионы рублей в месяц).

3. В рамках теста проводился сравнительный анализ только тех механик рекомендаций, которые есть у системы Crossss. В системе Retail Rocket есть целый ряд продуктов, внедрение которых позволит значительно повысить экономическую отдачу от системы. Пример – персонализация главной страницы по принципу Ozon.ru. Нашим клиентам, Dostavka.ru, только с помощью этого одного сценария подняли выручку на 8,5%.

Компании и сервисы: Retail Rocket, Google Analytics, Crossss
Автор: Игорь Назаров

Подписаться на новости

Читайте также

29 ноября / Комментарии

Прогремела или прошелестела Чёрная Пятница? Предварительные итоги

Прогремела по российскому е-коммерсу Чёрная Пятница. Или прошелестела? Не “перегрел” ли российский е-коммерс акциями по году покупателя?
Топ-эксперт и Главный аналитик Price.ru (холдинг RAMBLER&Co) Петровский Алексей подводит предварительные итоги.

далее →

28 ноября / Комментарии

Статистика предпраздничных распродаж Black Friday

Компания Spycob, занимающаяся сбором и анализом данных на товары (одежду, обувь, аксессуары), которые позволяют находить и сравнивать цены на брендовые вещи со всего мира, объединилась с передовой аналитическо-консалтинговой компанией Excelio, чтобы построить отчет, показывающий инсайты праздничных распродаж и помогающий понять, что же на самом деле происходит со скидками в предпраздничный период, за неделю до Black Friday.

далее →

23 ноября / Комментарии

Будущее онлайн-ритейла: digital-покупатель 2.0

Каждый маркетолог или менеджер ценообразования хотя бы раз серьезно задумывался о том, каким будет онлайн-ритейл в будущем. За последние несколько лет digital изменил конкуренцию в электронной торговле: конкурентное преимущество зависит уже не столько от продукта и поведения ваших конкурентов на рынке, сколько от опыта, который получает ваш клиент вместе с покупкой. Добро пожаловать в эру "Экономики впечатлений"!

далее →

22 ноября / Комментарии

За 10 месяцев 2016 года онлайн-платежи выросли на 45%

Онлайн-платежи за первые десять месяцев 2016 года продемонстрировали рост 45% в денежном выражении по отношению к аналогичному периоду 2015 года. В количественном выражении рост за тот же период составил 48%. Заметнее всего вырос сегмент доставки продуктов питания – на 63% в рублях и на 93% в количестве оплаченных заказов. Самое значительное падение произошло в несетевой рознице, торгующей бытовой техникой, электроникой и сопутствующими товарами – здесь платежи в рублях сократились на 27%, а в количественном выражении на 61%.

далее →

17 ноября / Комментарии

Страхи, проблемы и желания интернет покупателей

Согласно опросу РОЦИТ, проведенному на интерактивной площадке “Голос Рунета” в октябре 2016 г., уже более 90% респондентов совершают покупки в отечественных интернет-магазинах, причем каждый 10-ый делает это раз в неделю. Ситуация с зарубежными интернет-магазинами пока обстоит чуть хуже, еженедельно в них заказывает товары лишь каждый 20-ый. 

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook