Битва за конверсию: Ответ Retail Rocket

Смотрите в каталоге
Системы персонализации

В соответствии с соглашением о неразглашении конфиденциальной информации, мы не можем публиковать показатели, отражающие результаты деятельности интернет-магазина, на котором проходил тест. По этому в отчете приводятся только относительные показатели, установленные в результате А/Б теста, которые отражают разницу в эффективности сервисов. Отличительной особенностью этого кейса является то, что специалисты интернет-магазина в своем пост-тест анализе использовали данные о фактически проданных заказах, а не об оформленных, как это обычно бывает. Спешим поделиться деталями!

Описание теста

Исследование эффективности работы сервисов проводилось с помощью механики А/Б-тестирования и настраивалось специалистами интернет-магазина. Вся аудитория сайта случайным образом в реальном времени делилась на равные сегменты. Одному сегменту показывались товарные рекомендации Retail Rocket, другому – Crossss. Идентификатор каждого сегмента посетителей передавался в систему Google (сайт нарушает закон РФ) Analytics и в учетную систему интернет-магазина.

Пост-тест анализ специалистами Retail Rocket с помощью Google (сайт нарушает закон РФ) Analytics

По данным Google (сайт нарушает закон РФ) Analytics, в рамках тестирования проводился анализ более 400000 сессий пользователей. Сайт клиента имеет очень большой трафик и в веб-интерфейсе GA нет возможности анализировать данные без сэмплирования (неточного построения отчетов на основе небольшой выборки данных). Поэтому для выгрузки сырых данных без сэмплирования мы использовали API Google (сайт нарушает закон РФ) Analytics и получили следующие данные:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,33%-4,48%-0,35%

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

Битва за конверсию: Ответ Retail Rocket

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

При этом, в сегменте Crossss наблюдается рост среднего чека, что в итоге сводит на нет разницу по выручке между сегментами. Однако, разница по среднему чеку не является статистически значимой.

За время теста в сегмент Crossss попали 2 аномально больших заказа на 194400 руб.и 422840 руб. (суммы заказов превышают средний чек магазина в сотни раз, а в самом заказе содержатся 1-2 товара, заказанные в огромном количестве), для сравнения – в сегменте Retail Rocket стоимость самого крупного за время теста заказа ~35000 рублей).

Битва за конверсию: Ответ Retail Rocket

Если убрать эти два аномально больших заказа из данных для анализа, получим следующие результаты:

# КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,35%+0,86%+5,25%

Как видно из таблицы, убрав 2 аномальных заказа из данных для пост-тест анализа получаем, что Retail Rocket увеличивает средний чек чуть менее чем на 1%.

Вероятность попадания таких разовых заказов в любой из сегментов теста велика. Распространенной практикой для пост-тест анализа является удаление небольшого процента самых дорогих заказов из каждого сегмента, чтобы полностью исключить локальные пики в выручке, на которые в большинстве случаев тестируемые элементы не влияют. Удалив из обоих сегментов по 10 самых дорогих заказов, получим:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,32%+1,16%+5,53%

Как видно из таблицы, ситуация практически не изменилась.

Пост-тест анализ специалистами интернет-магазина на основе данных внутренней системы аналитики (с учетом аннулированных заказов и заказов колл-центра, которые оформлялись через сайт)

Один из самых точных способов оценки экономической эффективности любой функциональности сайта – исключение из данных для пост-тест анализа заказов, которые не отражают эффективности тестируемого изменения и искажают результаты исследования: тестовые заказы сотрудников магазина, фейковые заказы различных «шутников», заказы операторов колл-центра и так далее.

Именно такие «очищенные» данные использовали при анализе А/Б теста специалисты самого интернет-магазина. Полученные результаты приведены ниже:

# Выручка на посетителя по оформленным заказам (за исключением аннулированных и колл-центра)Средний чек по оформленным заказам (за исключением аннулированных и колл-центра)Выручка на посетителя по исполненным заказам
Преимущество Retail Rocket+10,4%+4,7%+11,1%

Как видно из таблицы, преимущество системы Retail Rocket по выручке от исполненных заказов в два раза выше, чем по выручке от размещенных.

Выводы

1. По результатам тестирования Retail Rocket увеличивает «размещенную выручку» (без учета аннуляций, исполняемости и т.д.) интернет-магазина на 5,53% по сравнению с системой Crossss. Статистическая значимость результатов тестирования >99%.

2. По результатам анализа аннуляции и исполняемости заказов сотрудниками интернет-магазина, в сегменте Retail Rocket выручка на 11,1% превышает показатели системы Crossss (в абсолютных цифрах это миллионы рублей в месяц).

3. В рамках теста проводился сравнительный анализ только тех механик рекомендаций, которые есть у системы Crossss. В системе Retail Rocket есть целый ряд продуктов, внедрение которых позволит значительно повысить экономическую отдачу от системы. Пример – персонализация главной страницы по принципу Ozon.ru. Нашим клиентам, Dostavka.ru, только с помощью этого одного сценария подняли выручку на 8,5%.

Компании и сервисы: Crossss, Retail Rocket, Google Analytics
Автор: igor-nazarov

Читайте также

Рынок интернет-аптек в 2021 году: аналитика Data Insight

Data Insight при поддержке Master Delivery — Прямиком выпустили исследование «Рынок интернет-аптек» за 2021 год. В исследовании приведены данные по 57 аптекам, входящим в ТОП-1000 российских интернет-магазинов по количеству заказов в 2021 году.

далее →

Отчёт по рейтингу «Топ-100 интернет-магазинов» за 2021 год

Data Insight представила отчёт «Топ-100 интернет-магазинов: рейтинг 2021». В нём собраны результаты рейтинга Ecommerce Index Top-100 за 2021 год и церемонии награждения его победителей.

далее →

29 апреля / Комментарии

Рейтинг крупнейших российских интернет-магазинов за 2021 год

Data Insight публикует рейтинг Top-100 2021. В рейтинг включены сто крупнейших российских магазинов по объему онлайн-продаж за 2021 год. По сравнению с рейтингом за 2020 год, в списке появилось 14 новых проектов, не входивших в аналогичный топ за прошлый год. Порог входа в Топ-100 за год вырос на 610 млн рублей или 22%.

далее →

26 апреля / Комментарии

Сравнение уровня выкупа в интернет-магазинах в феврале и марте 2022 года

Компания PIM Solutions, оператор логистических и финансовых услуг для интернет-магазинов, сравнила уровень выкупа в феврале и марте 2022 года. Для этого была проанализирована информация о 10,5 млн заказов, прошедших через логистические сервисы PIM Solutions за эти два месяца.

далее →

22 апреля / Комментарии

Экспресс-мониторинг сегментов рынка электронной коммерции

Data Insight представляет экспресс-мониторинг нескольких сегментов рынка электронной коммерции. Его задача — оценить и показать объемы, востребованность, доступность ассортимента и изменение цен в магазинах различных товарных сегментов. Сейчас мониторинг охватывает четыре сегмента.

далее →