Битва за конверсию: Сrossss & Retail Rocket

Смотрите в каталоге
Системы персонализации

Когда Read.ru решил опробовать сервисы Crossss, система товарных рекомендаций Retail Rocket работала в этом и-магазине уже целый год.

Справка: Read.ru — один из крупнейших магазинов рунета в категории «Книги, хобби, канцтовары», занимает 183 место в рейтинге интернет-магазинов издания «Коммерсант», ежемесячный оборот исчисляет миллионами рублей.

Год — серьезный срок для самообучающейся системы, какими являются и Retail Rocket, и Crossss. Вместо 365 дней мы получили 2 недели, то есть к моменту теста Retail Rocket имел в 25 раз больше данных для рекомендаций, чем Crossss. При гигантском ассортименте read.ru (почти миллион наименований) это могло оказаться важным. Следует отметить, что наш рекомендательный движок учитывает не только информацию о поведении пользователей, но и данные продуктов (изображения, характеристики и т.п.), поэтому начинает эффективно работать довольно быстро.

Сравнение эффективности работы сервисов проводилось с помощью А/B– тестирования и настраивалось специалистами интернет–магазина. Вся аудитория сайта случайным образом в реальном времени делилась на 3 группы средствами интернет-магазина. В контрольную группу попадали 20% аудитории; рекомендации для них подбирал Retail Rocket. Остальные 80% посетителей делились на две равные группы, одна из которых получала рекомендации от Crossss, другая — от Retail Rocket. Идентификатор каждого сегмента посетителей передавался в систему Google Analytics, где производился анализ ключевых показателей эффективности работы магазина для каждой группы.

После 4 недель эксперимента сервис Retail Rocket одержал безоговорочную победу над самим собой:

Битва за конверсию: Сrossss & Retail Rocket

То есть результат, показанный Retail Rocket в ходе обслуживания тестовой группы, был лучше, чем показатели, которых удалось достичь тому же Retail Rocket в течение года работы на Read.ru.

В результатах можно заметить две странности:

1. Retail Rocket был на 6% лучше самого себя, и система GA определила, что вероятность его превосходства равна 95%. Это — A/A-тест данного эксперимента, результат которого задает порог точности для всего стравнительного эксперимента: 6%.

2. Результаты Crossss были на 8% лучше, чем у Retail Rocket, но вероятность превосходства – меньше, поэтому GA определила выигравшим RR.

Мнение Retail Rocket, полученное от сотрудников Сrossss

Наши коллеги из Retail Rocket предположили, что проблема может быть в семплинге данных, и предложили использовать сырые данные. Они получили следующую таблицу с помощью API Google Analytics:

Битва за конверсию: Сrossss & Retail Rocket

Немного настораживает сильное отличие выручки на посетителя и конверсии от результатов в интерфейсе, но в целом причин не доверять таблице нет, и доступа к аккаунту Read.ru в GA на момент написания этой статьи у нас уже нет.

В данных результатах Retail Rocket (правда, без учета своей базовой части) тоже проиграл Crossss, но разница все равно меньше, чем выведенная ранее погрешность.

Анализ фактических заказов

Коллеги из магазина Read.Ru, заказчика теста, пошли еще дальше. Они очистили данные от аннулированных и невыполненных заказов, после чего проанализировали данные заказов в разрезе статусов их состояния и выполняемости.

Важно отметить, что данные по статусам заказов были получены через неделю после теста. Таким образом, с течением времени соотношения заказов с разными статусами еще могли немного измениться.

Были взяты все заказы из CRM Read.ru в разбивке по АБ-группам теста и вычтены из них:

  • Все заказы, прошедшие через колл-центр;
  • Все аннулированные заказы;

Получились следующие относительные цифры (100% — лучший результат из трёх АБ-групп)


Crossss

RR

Исходная (тоже RR)

Средний чек (-) заказы КЦ и (-) аннуляций

-4,7%

100,0%

-4,5%

Средний доход на визит по выполненным

-11,1%

100,0%

-11,1%

Доля выполненных заказов в штуках

-1,4%

-1,9%

100,0%

Как видим, по средним цифрам теперь впереди оказался RetailRocket. Однако данные исходной группы (тот же RetailRocket) практически совпадают с данными Crossss.

При этом, в соотношении выполненных заказов Crossss оказался не хуже RetailRocket, а исходная группа (тот же RR) опередила тестовый RR почти на 2%.

Таким образом, и по очищенным средним данным разница показателей Сrossss и RR опять оказалась в рамках погрешности теста.

Эффективность определения интересов посетителей

Как же выяснить, какой рекомендательный сервис отработал лучше? Для этого надо отбросить элемент случайности, вносимый распределением сессий. Например, наши коллеги обратили внимание, что в сегмент crossss случайно попал большой заказ более чем на 400 тысяч рублей (впрочем, реально оформленный и оплаченный).

Вспомним, что одно из главных качеств сервиса персонализации – его способность предсказывать потребности посетителя, причем как в том, что касается привлечения его внимания, так и в том, что касается покупок как таковых.

Внимание к рекомендациям корректно отражается CTR рекомендательного блока (при условии, что сравниваемые рекомендательные блоки одинаково оформлены). Способность сервиса рекомендаций предсказывать покупку посетителя отражается конверсией кликнувшего рекомендацию посетителя. Именно поэтому клиенты Crossss платят только за реальные действия клиентов: учитываются только те товары в корзине, которые посетитель впервые увидел в рекомендации, кликнул и потом купил.

Посмотрим на соответствующий отчет GA:

Битва за конверсию: Сrossss & Retail Rocket

Как видно из этого отчета, доля сессий Crossss, в которых была кликнута по крайней мере одна рекомендация, равна 32755/822698/0,4=9,85%, в то время как у RR этот показатель составил 12138/822698/0,6=2,46%. Значит, Сrossss почти в 4 раза лучше угадывает интересы посетителя!

Конверсия посетителей в нашем канале также на 4,3% лучше, чем у RR (впрочем, это опять в пределах погрешности, определенной A/A-тестом), и существенно лучше, чем средняя по сайту!

По результатам теста Read.ru предложил заключение контракта сервису crossss.ru.

Комментарий генерального директора интернет-магазина Read.ru Михаила Гриценко:

Для нашего магазина это был важный тест. Read.ru относительно многокатегорийный магазин, хотя ядро товаров составляют книги, а продвижение продаж других категорий является важной бизнес-задачей. То, что рекомендации дают однозначный прирост конверсии —ни для кого не секрет, но нам было важно понять факторы, которые могут привести те или иные алгоритмы к успеху. На настоящий момент мы только подтвердили основную гипотезу: с рекомендациями лучше, чем без них. Мы очень благодарны Crossssи RetailRocket за плодотворное сотрудничество и открытость, которые сделали возможным этот тест. Мы планируем повторить его на витрине Read.ru в начале следующего года, дав возможность обеим системам подготовиться и оказаться в равных условиях, конечно, если такое предложение будет ими принято.

Комментарий Николая Хлебинского, CEO & Co-Founder Retail Rocket:

1. Сервис Кросс в блоках рекомендаций ставит ссылки на свой домен. Когда пользователи кликают в них они переходят на домен Кросс, откуда их переправляют на карточку товара магазина. Виджеты рекомендаций Retail Rocket содеражт ссылки только на домен магазина. При обычном клике в блок рекомендаций источник трафика НЕ перезаписывается. Однако, специфика наших виджетов состоит в том, что они подгружаются в iframe и перезапись источника трафика возможна ТОЛЬКО при открытии через контекстное меню (правый клик) или средний клик. Если бы коллеги разбирались в том, как работают системы веб-аналитики в общем и атрибуция трафика в частности, они бы поняли, что сравнение по источнику трафика абсолютно некорректно. 

 2. Если А/А тест выявляет победителя – А/А тест настроен неправильно. Вот как выглядит А/А тест, проведенный с помощью нашего сегментатора (https://github.com/RetailRocket/RetailRocket.Segmentator

raspredelenie.png

 Различие между группами по всем ключевым показателям менее 0,03% (то есть точность >99,97%). К сожалению, нам не сообщили, что в "исходном" сегменте так же использовался наш сервис. При проверке настроек эксперимента наши специалисты отмечали, что не видят в нем наших рекомендаций, но не придали этому значения, удостоверившись, что в сегменте Retail Rocket все показывается верно. 

3. Коллеги из Кросс умолчали ряд фактов из нашего отчета, а так же из отчета, который сделали сами специалисты интернет-магазина на основе аннулированных заказов и заказов колл-центра. Полная версия отчета здесь: http://retailrocket.ru/blog/rezultatyi-sravneniya-rekomendatelnogo-servisa-retail-rocket-s-crossss/

Компании и сервисы: Crossss, Retail Rocket, Google Analytics
Автор: Игорь Назаров

Подписаться на новости

Читайте также

Эффективность рекламы в Facebook по отраслям

Компания WordStream опубликовала результаты исследования эффективности рекламы в Facebook.  Количество рекламодателей Facebook за последние 18 месяцев увеличилось более чем в два раза. При почти бесконечном множестве вариантов таргетинга объявлений, эффективность может отличаться как у конкретного рекламодателя, так и у целой отрасли. 

далее →

Обсуждение с экспертами новостей прошедшей недели в e-commerce

Наши эксперты: Алексей Прыгин, заместитель генерального директора «МаксиПост»; Наталия Плетнева, директор по продажам DPD в России; Светлана Афанасьева, директор по продажам СДЭК; Антон Бутивщенко, исполнительный директор гарант-сервиса SafeCrow; Алексей Колычев, коммерческий директор платежной системы Wallet One; Иван Артемов, руководитель отдела разработки концепций торговых центров CBRE; Евгений Колесников, руководитель направления «Большие данные и машинное обучение» компании «Инфосистемы Джет»; Юлия Сяглова, преподаватель кафедры маркетинга Института отраслевого менеджмента (ИОМ) РАНХиГС

далее →

Как украинский бизнес использует интернет-маркетинг

Маркетинговое агентство Promodo опубликовало исследование, посвященное интернет-маркетингу в Украине. Исследование отвечает на ряд вопросов, которыми задаются бизнесы, составляя маркетинговую стратегию в интернете: какие инструменты чаще используют, какова их эффективность, какие цели ставят перед интернет-маркетингом и как их измеряют, какая часть рекламного бюджета выделяется на онлайн, кому поручают ведение рекламных кампаний.

далее →

Философский камень для e-commerce, или Как попасть в заветный ТОП-10

Присутствие в ТОП-10 выдачи по ключевому целевому запросу — практически предел мечтаний. Но интернет-магазинов много, и «призовые» места получают не все. Как же выжить в подобной ситуации и получить трафик? Как вывести сайт в лидеры и нужно ли это вообще? Какие инструменты лучше всего использовать? Опытом и наблюдениями делится компания SeoPult, которая вывела в ТОП несколько сотен интернет-магазинов.

далее →

Всё звонки под контролем! Как организовать отдел продаж, обрести гармонию и отправиться в медовый месяц

Мы, как люди взрослые, понимаем, что практически каждая коммерческая организация рано или поздно задумывается о создании отдела продаж. А еще мы, будучи взрослыми, не верим в сказки, поэтому образ Шивы, четырехрукого божества или самого отчаянного мультитаскера в нашей вольной интерпретации, так плохо нам дается. И когда однажды тебе надоедает жонглировать телефоном, портфелем с материалами для встреч, планшетом и ПК, ты создаешь отдел продаж и отправляешься в медовый месяц! История одного бизнеса, который стал контролировать сотовые менеджеров по продажам и обрел гармонию.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook