Битва за конверсию: Сrossss & Retail Rocket

Смотрите в каталоге
Веб-статистика

Когда Read.ru решил опробовать сервисы Crossss, система товарных рекомендаций Retail Rocket работала в этом и-магазине уже целый год.

Справка: Read.ru — один из крупнейших магазинов рунета в категории «Книги, хобби, канцтовары», занимает 183 место в рейтинге интернет-магазинов издания «Коммерсант», ежемесячный оборот исчисляет миллионами рублей.

Год — серьезный срок для самообучающейся системы, какими являются и Retail Rocket, и Crossss. Вместо 365 дней мы получили 2 недели, то есть к моменту теста Retail Rocket имел в 25 раз больше данных для рекомендаций, чем Crossss. При гигантском ассортименте read.ru (почти миллион наименований) это могло оказаться важным. Следует отметить, что наш рекомендательный движок учитывает не только информацию о поведении пользователей, но и данные продуктов (изображения, характеристики и т.п.), поэтому начинает эффективно работать довольно быстро.

Сравнение эффективности работы сервисов проводилось с помощью А/B– тестирования и настраивалось специалистами интернет–магазина. Вся аудитория сайта случайным образом в реальном времени делилась на 3 группы средствами интернет-магазина. В контрольную группу попадали 20% аудитории; рекомендации для них подбирал Retail Rocket. Остальные 80% посетителей делились на две равные группы, одна из которых получала рекомендации от Crossss, другая — от Retail Rocket. Идентификатор каждого сегмента посетителей передавался в систему Google Analytics, где производился анализ ключевых показателей эффективности работы магазина для каждой группы.

После 4 недель эксперимента сервис Retail Rocket одержал безоговорочную победу над самим собой:

Битва за конверсию: Сrossss & Retail Rocket

То есть результат, показанный Retail Rocket в ходе обслуживания тестовой группы, был лучше, чем показатели, которых удалось достичь тому же Retail Rocket в течение года работы на Read.ru.

В результатах можно заметить две странности:

1. Retail Rocket был на 6% лучше самого себя, и система GA определила, что вероятность его превосходства равна 95%. Это — A/A-тест данного эксперимента, результат которого задает порог точности для всего стравнительного эксперимента: 6%.

2. Результаты Crossss были на 8% лучше, чем у Retail Rocket, но вероятность превосходства – меньше, поэтому GA определила выигравшим RR.

Мнение Retail Rocket, полученное от сотрудников Сrossss

Наши коллеги из Retail Rocket предположили, что проблема может быть в семплинге данных, и предложили использовать сырые данные. Они получили следующую таблицу с помощью API Google Analytics:

Битва за конверсию: Сrossss & Retail Rocket

Немного настораживает сильное отличие выручки на посетителя и конверсии от результатов в интерфейсе, но в целом причин не доверять таблице нет, и доступа к аккаунту Read.ru в GA на момент написания этой статьи у нас уже нет.

В данных результатах Retail Rocket (правда, без учета своей базовой части) тоже проиграл Crossss, но разница все равно меньше, чем выведенная ранее погрешность.

Анализ фактических заказов

Коллеги из магазина Read.Ru, заказчика теста, пошли еще дальше. Они очистили данные от аннулированных и невыполненных заказов, после чего проанализировали данные заказов в разрезе статусов их состояния и выполняемости.

Важно отметить, что данные по статусам заказов были получены через неделю после теста. Таким образом, с течением времени соотношения заказов с разными статусами еще могли немного измениться.

Были взяты все заказы из CRM Read.ru в разбивке по АБ-группам теста и вычтены из них:

  • Все заказы, прошедшие через колл-центр;
  • Все аннулированные заказы;

Получились следующие относительные цифры (100% — лучший результат из трёх АБ-групп)


Crossss

RR

Исходная (тоже RR)

Средний чек (-) заказы КЦ и (-) аннуляций

-4,7%

100,0%

-4,5%

Средний доход на визит по выполненным

-11,1%

100,0%

-11,1%

Доля выполненных заказов в штуках

-1,4%

-1,9%

100,0%

Как видим, по средним цифрам теперь впереди оказался RetailRocket. Однако данные исходной группы (тот же RetailRocket) практически совпадают с данными Crossss.

При этом, в соотношении выполненных заказов Crossss оказался не хуже RetailRocket, а исходная группа (тот же RR) опередила тестовый RR почти на 2%.

Таким образом, и по очищенным средним данным разница показателей Сrossss и RR опять оказалась в рамках погрешности теста.

Эффективность определения интересов посетителей

Как же выяснить, какой рекомендательный сервис отработал лучше? Для этого надо отбросить элемент случайности, вносимый распределением сессий. Например, наши коллеги обратили внимание, что в сегмент crossss случайно попал большой заказ более чем на 400 тысяч рублей (впрочем, реально оформленный и оплаченный).

Вспомним, что одно из главных качеств сервиса персонализации – его способность предсказывать потребности посетителя, причем как в том, что касается привлечения его внимания, так и в том, что касается покупок как таковых.

Внимание к рекомендациям корректно отражается CTR рекомендательного блока (при условии, что сравниваемые рекомендательные блоки одинаково оформлены). Способность сервиса рекомендаций предсказывать покупку посетителя отражается конверсией кликнувшего рекомендацию посетителя. Именно поэтому клиенты Crossss платят только за реальные действия клиентов: учитываются только те товары в корзине, которые посетитель впервые увидел в рекомендации, кликнул и потом купил.

Посмотрим на соответствующий отчет GA:

Битва за конверсию: Сrossss & Retail Rocket

Как видно из этого отчета, доля сессий Crossss, в которых была кликнута по крайней мере одна рекомендация, равна 32755/822698/0,4=9,85%, в то время как у RR этот показатель составил 12138/822698/0,6=2,46%. Значит, Сrossss почти в 4 раза лучше угадывает интересы посетителя!

Конверсия посетителей в нашем канале также на 4,3% лучше, чем у RR (впрочем, это опять в пределах погрешности, определенной A/A-тестом), и существенно лучше, чем средняя по сайту!

По результатам теста Read.ru предложил заключение контракта сервису crossss.ru.

Комментарий генерального директора интернет-магазина Read.ru Михаила Гриценко:

Для нашего магазина это был важный тест. Read.ru относительно многокатегорийный магазин, хотя ядро товаров составляют книги, а продвижение продаж других категорий является важной бизнес-задачей. То, что рекомендации дают однозначный прирост конверсии —ни для кого не секрет, но нам было важно понять факторы, которые могут привести те или иные алгоритмы к успеху. На настоящий момент мы только подтвердили основную гипотезу: с рекомендациями лучше, чем без них. Мы очень благодарны Crossssи RetailRocket за плодотворное сотрудничество и открытость, которые сделали возможным этот тест. Мы планируем повторить его на витрине Read.ru в начале следующего года, дав возможность обеим системам подготовиться и оказаться в равных условиях, конечно, если такое предложение будет ими принято.

Комментарий Николая Хлебинского, CEO & Co-Founder Retail Rocket:

1. Сервис Кросс в блоках рекомендаций ставит ссылки на свой домен. Когда пользователи кликают в них они переходят на домен Кросс, откуда их переправляют на карточку товара магазина. Виджеты рекомендаций Retail Rocket содеражт ссылки только на домен магазина. При обычном клике в блок рекомендаций источник трафика НЕ перезаписывается. Однако, специфика наших виджетов состоит в том, что они подгружаются в iframe и перезапись источника трафика возможна ТОЛЬКО при открытии через контекстное меню (правый клик) или средний клик. Если бы коллеги разбирались в том, как работают системы веб-аналитики в общем и атрибуция трафика в частности, они бы поняли, что сравнение по источнику трафика абсолютно некорректно. 

 2. Если А/А тест выявляет победителя – А/А тест настроен неправильно. Вот как выглядит А/А тест, проведенный с помощью нашего сегментатора (https://github.com/RetailRocket/RetailRocket.Segmentator

raspredelenie.png

 Различие между группами по всем ключевым показателям менее 0,03% (то есть точность >99,97%). К сожалению, нам не сообщили, что в "исходном" сегменте так же использовался наш сервис. При проверке настроек эксперимента наши специалисты отмечали, что не видят в нем наших рекомендаций, но не придали этому значения, удостоверившись, что в сегменте Retail Rocket все показывается верно. 

3. Коллеги из Кросс умолчали ряд фактов из нашего отчета, а так же из отчета, который сделали сами специалисты интернет-магазина на основе аннулированных заказов и заказов колл-центра. Полная версия отчета здесь: http://retailrocket.ru/blog/rezultatyi-sravneniya-rekomendatelnogo-servisa-retail-rocket-s-crossss/

Компании и сервисы: Google Analytics, Crossss, Retail Rocket
Автор: Игорь Назаров

Подписаться на новости

Читайте также

29 ноября / Комментарии

Прогремела или прошелестела Чёрная Пятница? Предварительные итоги

Прогремела по российскому е-коммерсу Чёрная Пятница. Или прошелестела? Не “перегрел” ли российский е-коммерс акциями по году покупателя?
Топ-эксперт и Главный аналитик Price.ru (холдинг RAMBLER&Co) Петровский Алексей подводит предварительные итоги.

далее →

28 ноября / Комментарии

Статистика предпраздничных распродаж Black Friday

Компания Spycob, занимающаяся сбором и анализом данных на товары (одежду, обувь, аксессуары), которые позволяют находить и сравнивать цены на брендовые вещи со всего мира, объединилась с передовой аналитическо-консалтинговой компанией Excelio, чтобы построить отчет, показывающий инсайты праздничных распродаж и помогающий понять, что же на самом деле происходит со скидками в предпраздничный период, за неделю до Black Friday.

далее →

23 ноября / Комментарии

Будущее онлайн-ритейла: digital-покупатель 2.0

Каждый маркетолог или менеджер ценообразования хотя бы раз серьезно задумывался о том, каким будет онлайн-ритейл в будущем. За последние несколько лет digital изменил конкуренцию в электронной торговле: конкурентное преимущество зависит уже не столько от продукта и поведения ваших конкурентов на рынке, сколько от опыта, который получает ваш клиент вместе с покупкой. Добро пожаловать в эру "Экономики впечатлений"!

далее →

22 ноября / Комментарии

За 10 месяцев 2016 года онлайн-платежи выросли на 45%

Онлайн-платежи за первые десять месяцев 2016 года продемонстрировали рост 45% в денежном выражении по отношению к аналогичному периоду 2015 года. В количественном выражении рост за тот же период составил 48%. Заметнее всего вырос сегмент доставки продуктов питания – на 63% в рублях и на 93% в количестве оплаченных заказов. Самое значительное падение произошло в несетевой рознице, торгующей бытовой техникой, электроникой и сопутствующими товарами – здесь платежи в рублях сократились на 27%, а в количественном выражении на 61%.

далее →

17 ноября / Комментарии

Страхи, проблемы и желания интернет покупателей

Согласно опросу РОЦИТ, проведенному на интерактивной площадке “Голос Рунета” в октябре 2016 г., уже более 90% респондентов совершают покупки в отечественных интернет-магазинах, причем каждый 10-ый делает это раз в неделю. Ситуация с зарубежными интернет-магазинами пока обстоит чуть хуже, еженедельно в них заказывает товары лишь каждый 20-ый. 

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook