Битва за конверсию: Ответ Retail Rocket

Смотрите в каталоге
Системы персонализации

В соответствии с соглашением о неразглашении конфиденциальной информации, мы не можем публиковать показатели, отражающие результаты деятельности интернет-магазина, на котором проходил тест. По этому в отчете приводятся только относительные показатели, установленные в результате А/Б теста, которые отражают разницу в эффективности сервисов. Отличительной особенностью этого кейса является то, что специалисты интернет-магазина в своем пост-тест анализе использовали данные о фактически проданных заказах, а не об оформленных, как это обычно бывает. Спешим поделиться деталями!

Описание теста

Исследование эффективности работы сервисов проводилось с помощью механики А/Б-тестирования и настраивалось специалистами интернет-магазина. Вся аудитория сайта случайным образом в реальном времени делилась на равные сегменты. Одному сегменту показывались товарные рекомендации Retail Rocket, другому – Crossss. Идентификатор каждого сегмента посетителей передавался в систему Google Analytics и в учетную систему интернет-магазина.

Пост-тест анализ специалистами Retail Rocket с помощью Google Analytics

По данным Google Analytics, в рамках тестирования проводился анализ более 400000 сессий пользователей. Сайт клиента имеет очень большой трафик и в веб-интерфейсе GA нет возможности анализировать данные без сэмплирования (неточного построения отчетов на основе небольшой выборки данных). Поэтому для выгрузки сырых данных без сэмплирования мы использовали API Google Analytics и получили следующие данные:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,33%-4,48%-0,35%

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

Битва за конверсию: Ответ Retail Rocket

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

При этом, в сегменте Crossss наблюдается рост среднего чека, что в итоге сводит на нет разницу по выручке между сегментами. Однако, разница по среднему чеку не является статистически значимой.

За время теста в сегмент Crossss попали 2 аномально больших заказа на 194400 руб.и 422840 руб. (суммы заказов превышают средний чек магазина в сотни раз, а в самом заказе содержатся 1-2 товара, заказанные в огромном количестве), для сравнения – в сегменте Retail Rocket стоимость самого крупного за время теста заказа ~35000 рублей).

Битва за конверсию: Ответ Retail Rocket

Если убрать эти два аномально больших заказа из данных для анализа, получим следующие результаты:

# КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,35%+0,86%+5,25%

Как видно из таблицы, убрав 2 аномальных заказа из данных для пост-тест анализа получаем, что Retail Rocket увеличивает средний чек чуть менее чем на 1%.

Вероятность попадания таких разовых заказов в любой из сегментов теста велика. Распространенной практикой для пост-тест анализа является удаление небольшого процента самых дорогих заказов из каждого сегмента, чтобы полностью исключить локальные пики в выручке, на которые в большинстве случаев тестируемые элементы не влияют. Удалив из обоих сегментов по 10 самых дорогих заказов, получим:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,32%+1,16%+5,53%

Как видно из таблицы, ситуация практически не изменилась.

Пост-тест анализ специалистами интернет-магазина на основе данных внутренней системы аналитики (с учетом аннулированных заказов и заказов колл-центра, которые оформлялись через сайт)

Один из самых точных способов оценки экономической эффективности любой функциональности сайта – исключение из данных для пост-тест анализа заказов, которые не отражают эффективности тестируемого изменения и искажают результаты исследования: тестовые заказы сотрудников магазина, фейковые заказы различных «шутников», заказы операторов колл-центра и так далее.

Именно такие «очищенные» данные использовали при анализе А/Б теста специалисты самого интернет-магазина. Полученные результаты приведены ниже:

# Выручка на посетителя по оформленным заказам (за исключением аннулированных и колл-центра)Средний чек по оформленным заказам (за исключением аннулированных и колл-центра)Выручка на посетителя по исполненным заказам
Преимущество Retail Rocket+10,4%+4,7%+11,1%

Как видно из таблицы, преимущество системы Retail Rocket по выручке от исполненных заказов в два раза выше, чем по выручке от размещенных.

Выводы

1. По результатам тестирования Retail Rocket увеличивает «размещенную выручку» (без учета аннуляций, исполняемости и т.д.) интернет-магазина на 5,53% по сравнению с системой Crossss. Статистическая значимость результатов тестирования >99%.

2. По результатам анализа аннуляции и исполняемости заказов сотрудниками интернет-магазина, в сегменте Retail Rocket выручка на 11,1% превышает показатели системы Crossss (в абсолютных цифрах это миллионы рублей в месяц).

3. В рамках теста проводился сравнительный анализ только тех механик рекомендаций, которые есть у системы Crossss. В системе Retail Rocket есть целый ряд продуктов, внедрение которых позволит значительно повысить экономическую отдачу от системы. Пример – персонализация главной страницы по принципу Ozon.ru. Нашим клиентам, Dostavka.ru, только с помощью этого одного сценария подняли выручку на 8,5%.

Компании и сервисы: Crossss, Google Analytics, Retail Rocket
Автор: igor-nazarov

Подписаться на новости

Читайте также

30 ноября / Комментарии

Обсуждение с экспертами октябрьских новостей в e-commerce

Каждый день в мире происходит что-то новое и интересное, то, что волнует миллионы людей. Мир электронной коммерции не отстает. Самые значимые за прошедший месяц новости мы обсудим с нашими экспертами в этой статье.

далее →

23 ноября / Комментарии

Поколение Z: кто такие зумеры и почему брендам пора обратить на них внимание

Зумеры выросли, и с каждым годом их вклад в общий объём покупок и транзакций становится больше. Эксперты приложения «Кошелёк» выяснили, что это значит для брендов и сферы клиентской лояльности, и рассказали о привычках самых молодых покупателей. 

далее →

17 ноября / Комментарии

Исследование Netpeak: сколько стоил клик в Яндекс.Директ в России в третьем квартале 2020 года

В данном исследовании приведена статистика исключительно по проектам агентства Netpeak. На стоимость клика влияет множество факторов, в том числе показатель качества, отличающийся во всех аккаунтах. Поэтому данные исследования могут значительно отличаться от данных ваших рекламных аккаунтов в аналогичных тематиках и регионах.

далее →

16 ноября / Комментарии

Исследование Netpeak: сколько стоил клик в Google Ads в России в третьем квартале 2020 года

В данном исследовании приведена статистика исключительно по проектам агентства Netpeak. На стоимость клика влияет множество факторов, в том числе показатель качества, отличающийся во всех аккаунтах. Поэтому данные исследования могут значительно отличаться от данных ваших рекламных аккаунтов в аналогичных тематиках и регионах.

далее →

13 ноября / Комментарии

ТОП-10 digital-агентств России по версии Ringostat

Платформа коллтрекинга, телефонии и сквозной аналитики Ringostat подвела итоги второго ежегодного рейтинга агентств контекстной рекламы России. Список возглавили iConText, MGcom и i-Media. В рейтинге участвовали более 250 агентств, а в жюри вошли 44 эксперта по маркетингу. В этой статье мы расскажем о ТОП-10 участниках, их достижениях и самых наглядных кейсах.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook