Битва за конверсию: Ответ Retail Rocket

Смотрите в каталоге
Системы персонализации

В соответствии с соглашением о неразглашении конфиденциальной информации, мы не можем публиковать показатели, отражающие результаты деятельности интернет-магазина, на котором проходил тест. По этому в отчете приводятся только относительные показатели, установленные в результате А/Б теста, которые отражают разницу в эффективности сервисов. Отличительной особенностью этого кейса является то, что специалисты интернет-магазина в своем пост-тест анализе использовали данные о фактически проданных заказах, а не об оформленных, как это обычно бывает. Спешим поделиться деталями!

Описание теста

Исследование эффективности работы сервисов проводилось с помощью механики А/Б-тестирования и настраивалось специалистами интернет-магазина. Вся аудитория сайта случайным образом в реальном времени делилась на равные сегменты. Одному сегменту показывались товарные рекомендации Retail Rocket, другому – Crossss. Идентификатор каждого сегмента посетителей передавался в систему Google Analytics и в учетную систему интернет-магазина.

Пост-тест анализ специалистами Retail Rocket с помощью Google Analytics

По данным Google Analytics, в рамках тестирования проводился анализ более 400000 сессий пользователей. Сайт клиента имеет очень большой трафик и в веб-интерфейсе GA нет возможности анализировать данные без сэмплирования (неточного построения отчетов на основе небольшой выборки данных). Поэтому для выгрузки сырых данных без сэмплирования мы использовали API Google Analytics и получили следующие данные:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,33%-4,48%-0,35%

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

Битва за конверсию: Ответ Retail Rocket

По полученным данным, система Retail Rocket дает рост конверсии на 4,33% (статистическая значимость превосходства – 99,72%)

При этом, в сегменте Crossss наблюдается рост среднего чека, что в итоге сводит на нет разницу по выручке между сегментами. Однако, разница по среднему чеку не является статистически значимой.

За время теста в сегмент Crossss попали 2 аномально больших заказа на 194400 руб.и 422840 руб. (суммы заказов превышают средний чек магазина в сотни раз, а в самом заказе содержатся 1-2 товара, заказанные в огромном количестве), для сравнения – в сегменте Retail Rocket стоимость самого крупного за время теста заказа ~35000 рублей).

Битва за конверсию: Ответ Retail Rocket

Если убрать эти два аномально больших заказа из данных для анализа, получим следующие результаты:

# КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,35%+0,86%+5,25%

Как видно из таблицы, убрав 2 аномальных заказа из данных для пост-тест анализа получаем, что Retail Rocket увеличивает средний чек чуть менее чем на 1%.

Вероятность попадания таких разовых заказов в любой из сегментов теста велика. Распространенной практикой для пост-тест анализа является удаление небольшого процента самых дорогих заказов из каждого сегмента, чтобы полностью исключить локальные пики в выручке, на которые в большинстве случаев тестируемые элементы не влияют. Удалив из обоих сегментов по 10 самых дорогих заказов, получим:

#КонверсияСредний чекВыручка на посетителя
Преимущество Retail Rocket+4,32%+1,16%+5,53%

Как видно из таблицы, ситуация практически не изменилась.

Пост-тест анализ специалистами интернет-магазина на основе данных внутренней системы аналитики (с учетом аннулированных заказов и заказов колл-центра, которые оформлялись через сайт)

Один из самых точных способов оценки экономической эффективности любой функциональности сайта – исключение из данных для пост-тест анализа заказов, которые не отражают эффективности тестируемого изменения и искажают результаты исследования: тестовые заказы сотрудников магазина, фейковые заказы различных «шутников», заказы операторов колл-центра и так далее.

Именно такие «очищенные» данные использовали при анализе А/Б теста специалисты самого интернет-магазина. Полученные результаты приведены ниже:

# Выручка на посетителя по оформленным заказам (за исключением аннулированных и колл-центра)Средний чек по оформленным заказам (за исключением аннулированных и колл-центра)Выручка на посетителя по исполненным заказам
Преимущество Retail Rocket+10,4%+4,7%+11,1%

Как видно из таблицы, преимущество системы Retail Rocket по выручке от исполненных заказов в два раза выше, чем по выручке от размещенных.

Выводы

1. По результатам тестирования Retail Rocket увеличивает «размещенную выручку» (без учета аннуляций, исполняемости и т.д.) интернет-магазина на 5,53% по сравнению с системой Crossss. Статистическая значимость результатов тестирования >99%.

2. По результатам анализа аннуляции и исполняемости заказов сотрудниками интернет-магазина, в сегменте Retail Rocket выручка на 11,1% превышает показатели системы Crossss (в абсолютных цифрах это миллионы рублей в месяц).

3. В рамках теста проводился сравнительный анализ только тех механик рекомендаций, которые есть у системы Crossss. В системе Retail Rocket есть целый ряд продуктов, внедрение которых позволит значительно повысить экономическую отдачу от системы. Пример – персонализация главной страницы по принципу Ozon.ru. Нашим клиентам, Dostavka.ru, только с помощью этого одного сценария подняли выручку на 8,5%.

Компании и сервисы: Crossss, Retail Rocket, Google Analytics
Автор: Игорь Назаров

Подписаться на новости

Читайте также

Эффективность рекламы в Facebook по отраслям

Компания WordStream опубликовала результаты исследования эффективности рекламы в Facebook.  Количество рекламодателей Facebook за последние 18 месяцев увеличилось более чем в два раза. При почти бесконечном множестве вариантов таргетинга объявлений, эффективность может отличаться как у конкретного рекламодателя, так и у целой отрасли. 

далее →

Обсуждение с экспертами новостей прошедшей недели в e-commerce

Наши эксперты: Алексей Прыгин, заместитель генерального директора «МаксиПост»; Наталия Плетнева, директор по продажам DPD в России; Светлана Афанасьева, директор по продажам СДЭК; Антон Бутивщенко, исполнительный директор гарант-сервиса SafeCrow; Алексей Колычев, коммерческий директор платежной системы Wallet One; Иван Артемов, руководитель отдела разработки концепций торговых центров CBRE; Евгений Колесников, руководитель направления «Большие данные и машинное обучение» компании «Инфосистемы Джет»; Юлия Сяглова, преподаватель кафедры маркетинга Института отраслевого менеджмента (ИОМ) РАНХиГС

далее →

Как украинский бизнес использует интернет-маркетинг

Маркетинговое агентство Promodo опубликовало исследование, посвященное интернет-маркетингу в Украине. Исследование отвечает на ряд вопросов, которыми задаются бизнесы, составляя маркетинговую стратегию в интернете: какие инструменты чаще используют, какова их эффективность, какие цели ставят перед интернет-маркетингом и как их измеряют, какая часть рекламного бюджета выделяется на онлайн, кому поручают ведение рекламных кампаний.

далее →

Философский камень для e-commerce, или Как попасть в заветный ТОП-10

Присутствие в ТОП-10 выдачи по ключевому целевому запросу — практически предел мечтаний. Но интернет-магазинов много, и «призовые» места получают не все. Как же выжить в подобной ситуации и получить трафик? Как вывести сайт в лидеры и нужно ли это вообще? Какие инструменты лучше всего использовать? Опытом и наблюдениями делится компания SeoPult, которая вывела в ТОП несколько сотен интернет-магазинов.

далее →

Всё звонки под контролем! Как организовать отдел продаж, обрести гармонию и отправиться в медовый месяц

Мы, как люди взрослые, понимаем, что практически каждая коммерческая организация рано или поздно задумывается о создании отдела продаж. А еще мы, будучи взрослыми, не верим в сказки, поэтому образ Шивы, четырехрукого божества или самого отчаянного мультитаскера в нашей вольной интерпретации, так плохо нам дается. И когда однажды тебе надоедает жонглировать телефоном, портфелем с материалами для встреч, планшетом и ПК, ты создаешь отдел продаж и отправляешься в медовый месяц! История одного бизнеса, который стал контролировать сотовые менеджеров по продажам и обрел гармонию.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook