Crossss vs Retail Rocket

Смотрите в каталоге
АВ и мультивариантное тестирование

На рынке рекомендательных сервисов есть два фаворита Crossss и Retail Rocket. Сервисы и интернет-магазины регулярно делают различные сплит тесты, одним из таких тестов мы хотим с вами поделиться. К сожалению не вся информация, которую хотелось бы видеть отражена. Возможно представители Crossss и Retail Rocket дополнят этот материал в комментариях.  

A/B тестирование проводил интернет-магазин "средней руки", который не раскрывается.

Цель тестирования: получение информации о эффективности работы сервисов Crossss и Retail Rocket.

Реализация: На сайте интернет-магазина (источник данных не раскрывается) были установлены скрипты сервиса Crossss и Retail Rocket. С помощью внешней платформы convert.com было настроено чёткое разделение аудитории 50% на 50% В тесте сравнивалась конверсия в заказы.

Срок тестирования: с 9 июля по 22 июля

Посещаемость сайта: <10000 визитов

Crossss vs Retail Rocket

(по клику увеличенное изображение)

Итог: в результате A/B теста сервис Crossss показал на 22% лучше конверсию чем у Retail Rocket.

Николай Хлебинский, CEO & Co-Founder Retail Rocket прокомментировал A/B тест: 

Если коротко: эти данные ничего не значат, так как Retail Rocket на момент теста не был настроен. Сплит-тест так же проведен с грубыми ошибками. 

Подробно по пунктам: 

1. На сайте, где проводился тест, наша система была настроена не до конца. В систему некорректно передавались данные о транзакциях (система видела всего лишь 18% всех заказов), кроме того, обучение системы даже на этих неполных данных проводилось всего две недели. Обычно, в случае такой ошибки клиент получает автоматическое письмо о некорретности работы трекинг-кода. На момент начала теста ошибка не была исправлена и у системы просто не было данных. 

2. На момент тестирования на сайте клиента была установлена только одна механика рекомендаций Retail Rocket (рекомендации в карточке товара) из более чем 10, доступных в системе. Какие блоки, в каких шаблонах и какие дополнительные механики (например email) использовались со стороны коллег из другого сервиса – не известно. 

3. Наш сервис открыт для бесплатного тестирования для всех желающих (с нами работают сотни магазинов), к сожалению, мы вообще не знали о том, что проводится тест и не имели возможности вручную проверить корректность настройки. Никаких обращений к нам до окончания теста со стороны владельцев сайта не поступало. 

4. По нашим данным с 9 по 23 июля 2014 года на тестируемом сайте было 21844 посетителей, на представленном скриншоте 15718 посетителей. Куда делись 28.5% посетителей? По нашим данным, с 9 по 23 июля 2014 года на сайте было оформлено 361 транзакций, на представленном скриншоте – 286. Где 21% транзакций? Что вообще считалось конверсией в этом тесте? Судя по используемому инструменту – посещение страницы "спасибо за заказ". Что далеко не равняется количеству оформленных заказов и очень легко искажается людьми, обновляющими thankyoupage. На этом сайте на странице "Спасибо за заказ" есть функциональность отслеживания статуса заказа. Вывод: инструмент для тестирования не был настроен должным образом, представленные данные полностью скомпрометированы и не могут быть использованы для принятия каких-либо решений. 

5. Коллеги из другой системы не смогли предоставить функционал, который запрашивали владельцы сайта. На данный момент код коллег полностью снят, на сайте работает только Retail Rocket. В данный момент мы согласовываем договор.

Обновление (18:13 28.07.14): Коллеги из магазина, на котором был этот тест, только что сообщили нам(Николай Хлебинский), что они уведомляли Crossss о том, что Retail Rocket недонастроен.(скрин переписки получен редакцией Shopolog) 

Все вопросы о данном A/B тесте просим оставлять в комментариях, представители Crossss с радостью ответят на них.

Редакция Shopolog публикует результаты данного A/B теста исключительно для ознакомления.

Компании и сервисы: Convert, Retail Rocket, Crossss
Автор: Игорь Назаров

Подписаться на новости

Читайте также

27 февраля / Комментарии

У 69% директоров направления e-commerce увеличилась зарплата в 2016 году

Результаты исследования «ДНК e-commerce директора», проведенного международной рекрутинговой компанией Hays в России.

далее →

17 февраля / Комментарии

Тренды eсommerce: мужчины VS женщины

Просторы Интернета дали нашим современникам такие возможности для шоппинга, каких мы не могли себе представить еще десять лет назад. Пресс-центр PayOnline решил разобраться, насколько отличается поведение мужчин и женщин при совершении покупок в Интернете, - и подготовил инфографику «Мужчины VS женщины. Тренды eCommerce».

далее →

16 февраля / Комментарии

Ближайшие перспективы и направления развития интернет-торговли

Национальная ассоциация дистанционной торговли (НАДТ), лидер российского рынка экспресс-доставки DPD и ведущий логистический оператор рынка e-commerce PickPoint, объявили итоги исследования e-Commerce FUTURUM 2022, включающие оценку популярных ИТ-концептов, технологий и сервисов для онлайн-торговли и вероятность их развития в ближайшем будущем.

далее →

13 февраля / Комментарии

Возраст имеет значение. Особенности восприятия рекламы

Для анализа мы использовали методику пассивного наблюдения за посетителями сайтов, разработанную исследовательской компанией Online Market Intelligence (OMI). Она позволяет определять базовые параметры работы интернет-магазинов без проведения опросов. При этом у ресечеров имеется достаточно много информации не только о действиях посетителей, но и их социально-демографических параметрах: поле, возрасте, доходе, численности семьи, наличие детей и др.

далее →

7 февраля / Комментарии

Реальный e-commerce. Практические аспекты запуска, продвижения и эксплуатации интернет-магазинов. Часть 2

Мы продолжаем начатый в декабре прошлого года цикл публикаций, в котором представители отрасли делятся своими мнениями о различных составляющих успеха интернет-магазина.
На наши вопросы любезно согласились ответить представители компаний CS-Cart, Payler, Alltrades.ru,  SiteSecure, EcommPay, Айри.рф и многих других.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook