Битва за конверсию: Сrossss & Retail Rocket
Когда Read.ru решил опробовать сервисы Crossss, система товарных рекомендаций Retail Rocket работала в этом и-магазине уже целый год.
Справка: Read.ru — один из крупнейших магазинов рунета в категории «Книги, хобби, канцтовары», занимает 183 место в рейтинге интернет-магазинов издания «Коммерсант», ежемесячный оборот исчисляет миллионами рублей.
Год — серьезный срок для самообучающейся системы, какими являются и Retail Rocket, и Crossss. Вместо 365 дней мы получили 2 недели, то есть к моменту теста Retail Rocket имел в 25 раз больше данных для рекомендаций, чем Crossss. При гигантском ассортименте read.ru (почти миллион наименований) это могло оказаться важным. Следует отметить, что наш рекомендательный движок учитывает не только информацию о поведении пользователей, но и данные продуктов (изображения, характеристики и т.п.), поэтому начинает эффективно работать довольно быстро.
Сравнение эффективности работы сервисов проводилось с помощью А/B– тестирования и настраивалось специалистами интернет–магазина. Вся аудитория сайта случайным образом в реальном времени делилась на 3 группы средствами интернет-магазина. В контрольную группу попадали 20% аудитории; рекомендации для них подбирал Retail Rocket. Остальные 80% посетителей делились на две равные группы, одна из которых получала рекомендации от Crossss, другая — от Retail Rocket. Идентификатор каждого сегмента посетителей передавался в систему Google (сайт нарушает закон РФ) Analytics, где производился анализ ключевых показателей эффективности работы магазина для каждой группы.
После 4 недель эксперимента сервис Retail Rocket одержал безоговорочную победу над самим собой:
То есть результат, показанный Retail Rocket в ходе обслуживания тестовой группы, был лучше, чем показатели, которых удалось достичь тому же Retail Rocket в течение года работы на Read.ru.
В результатах можно заметить две странности:
1. Retail Rocket был на 6% лучше самого себя, и система GA определила, что вероятность его превосходства равна 95%. Это — A/A-тест данного эксперимента, результат которого задает порог точности для всего стравнительного эксперимента: 6%.
2. Результаты Crossss были на 8% лучше, чем у Retail Rocket, но вероятность превосходства – меньше, поэтому GA определила выигравшим RR.
Мнение Retail Rocket, полученное от сотрудников Сrossss
Наши коллеги из Retail Rocket предположили, что проблема может быть в семплинге данных, и предложили использовать сырые данные. Они получили следующую таблицу с помощью API Google (сайт нарушает закон РФ) Analytics:
Немного настораживает сильное отличие выручки на посетителя и конверсии от результатов в интерфейсе, но в целом причин не доверять таблице нет, и доступа к аккаунту Read.ru в GA на момент написания этой статьи у нас уже нет.
В данных результатах Retail Rocket (правда, без учета своей базовой части) тоже проиграл Crossss, но разница все равно меньше, чем выведенная ранее погрешность.
Анализ фактических заказов
Коллеги из магазина Read.Ru, заказчика теста, пошли еще дальше. Они очистили данные от аннулированных и невыполненных заказов, после чего проанализировали данные заказов в разрезе статусов их состояния и выполняемости.
Важно отметить, что данные по статусам заказов были получены через неделю после теста. Таким образом, с течением времени соотношения заказов с разными статусами еще могли немного измениться.
Были взяты все заказы из CRM Read.ru в разбивке по АБ-группам теста и вычтены из них:
- Все заказы, прошедшие через колл-центр;
- Все аннулированные заказы;
Получились следующие относительные цифры (100% — лучший результат из трёх АБ-групп)
Crossss | RR | Исходная (тоже RR) | |
Средний чек (-) заказы КЦ и (-) аннуляций | -4,7% | 100,0% | -4,5% |
Средний доход на визит по выполненным | -11,1% | 100,0% | -11,1% |
Доля выполненных заказов в штуках | -1,4% | -1,9% | 100,0% |
Как видим, по средним цифрам теперь впереди оказался RetailRocket. Однако данные исходной группы (тот же RetailRocket) практически совпадают с данными Crossss.
При этом, в соотношении выполненных заказов Crossss оказался не хуже RetailRocket, а исходная группа (тот же RR) опередила тестовый RR почти на 2%.
Таким образом, и по очищенным средним данным разница показателей Сrossss и RR опять оказалась в рамках погрешности теста.
Эффективность определения интересов посетителей
Как же выяснить, какой рекомендательный сервис отработал лучше? Для этого надо отбросить элемент случайности, вносимый распределением сессий. Например, наши коллеги обратили внимание, что в сегмент crossss случайно попал большой заказ более чем на 400 тысяч рублей (впрочем, реально оформленный и оплаченный).
Вспомним, что одно из главных качеств сервиса персонализации – его способность предсказывать потребности посетителя, причем как в том, что касается привлечения его внимания, так и в том, что касается покупок как таковых.
Внимание к рекомендациям корректно отражается CTR рекомендательного блока (при условии, что сравниваемые рекомендательные блоки одинаково оформлены). Способность сервиса рекомендаций предсказывать покупку посетителя отражается конверсией кликнувшего рекомендацию посетителя. Именно поэтому клиенты Crossss платят только за реальные действия клиентов: учитываются только те товары в корзине, которые посетитель впервые увидел в рекомендации, кликнул и потом купил.
Посмотрим на соответствующий отчет GA:
Как видно из этого отчета, доля сессий Crossss, в которых была кликнута по крайней мере одна рекомендация, равна 32755/822698/0,4=9,85%, в то время как у RR этот показатель составил 12138/822698/0,6=2,46%. Значит, Сrossss почти в 4 раза лучше угадывает интересы посетителя!
Конверсия посетителей в нашем канале также на 4,3% лучше, чем у RR (впрочем, это опять в пределах погрешности, определенной A/A-тестом), и существенно лучше, чем средняя по сайту!
По результатам теста Read.ru предложил заключение контракта сервису crossss.ru.
Комментарий генерального директора интернет-магазина Read.ru Михаила Гриценко:
Для нашего магазина это был важный тест. Read.ru относительно многокатегорийный магазин, хотя ядро товаров составляют книги, а продвижение продаж других категорий является важной бизнес-задачей. То, что рекомендации дают однозначный прирост конверсии —ни для кого не секрет, но нам было важно понять факторы, которые могут привести те или иные алгоритмы к успеху. На настоящий момент мы только подтвердили основную гипотезу: с рекомендациями лучше, чем без них. Мы очень благодарны Crossssи RetailRocket за плодотворное сотрудничество и открытость, которые сделали возможным этот тест. Мы планируем повторить его на витрине Read.ru в начале следующего года, дав возможность обеим системам подготовиться и оказаться в равных условиях, конечно, если такое предложение будет ими принято.
Комментарий Николая Хлебинского, CEO & Co-Founder Retail Rocket:
1. Сервис Кросс в блоках рекомендаций ставит ссылки на свой домен. Когда пользователи кликают в них они переходят на домен Кросс, откуда их переправляют на карточку товара магазина. Виджеты рекомендаций Retail Rocket содеражт ссылки только на домен магазина. При обычном клике в блок рекомендаций источник трафика НЕ перезаписывается. Однако, специфика наших виджетов состоит в том, что они подгружаются в iframe и перезапись источника трафика возможна ТОЛЬКО при открытии через контекстное меню (правый клик) или средний клик. Если бы коллеги разбирались в том, как работают системы веб-аналитики в общем и атрибуция трафика в частности, они бы поняли, что сравнение по источнику трафика абсолютно некорректно.
2. Если А/А тест выявляет победителя – А/А тест настроен неправильно. Вот как выглядит А/А тест, проведенный с помощью нашего сегментатора (https://github.com/RetailRocket/RetailRocket.Segmentator)
Различие между группами по всем ключевым показателям менее 0,03% (то есть точность >99,97%). К сожалению, нам не сообщили, что в "исходном" сегменте так же использовался наш сервис. При проверке настроек эксперимента наши специалисты отмечали, что не видят в нем наших рекомендаций, но не придали этому значения, удостоверившись, что в сегменте Retail Rocket все показывается верно.
3. Коллеги из Кросс умолчали ряд фактов из нашего отчета, а так же из отчета, который сделали сами специалисты интернет-магазина на основе аннулированных заказов и заказов колл-центра. Полная версия отчета здесь: http://retailrocket.ru/blog/rezultatyi-sravneniya-rekomendatelnogo-servisa-retail-rocket-s-crossss/
