Секретные результаты 1 000 A/B-тестов в письмах

Смотрите в каталоге
Системы персонализации

В Retail Rocket нам удалось построить многопоточный и близкий к идеальному процесс проверки гипотез, постоянно совершенствуя нашу базу знаний и ежедневно пополняя ее лучшими практиками. С некоторыми рабочими приемами оптимизации построения писем через А/B-тесты можно ознакомиться в наших специальных подборках:

В январе 2017 года нашей командой Growth Hacker’ов пройден знаковый рубеж — проведен 1000-й А/B-тест. Настало время раскрыть некоторые секреты, интересные цифры и в очередной раз поделиться накопленной экспертизой.

1. Из 1000 A/B-тестов, проведённых командой Growth Hacker’ов Retail Rocket, успешным оказался 341 тест (34.1% от общего числа тестов).

2.  На основании наших прогнозов количество дополнительных ежемесячных заказов, сгенерированное благодаря A/B-тестам, на момент запуска 1000-го теста достигло практически 223 тысяч, которые принесли нашим клиентам более 1 миллиарда рублей.

3.  Услугой A/B-тестирования воспользовались свыше 100 клиентов.

4. В 3 наиболее успешных тестах из 1000 тестировалось наличие купона со скидкой. Общий прирост количества заказов по этим тестам составил: 102%, 153% и 518%; в последнем случае также был уменьшен период задержки перед отправкой письма.

+102%

+153%

+518%

5.  Наиболее востребованным в тестировании элементом писем оказалась тема — средний прирост заказов на успешных тестах темы письма составил +21.7%.

6.  В работе мы используем поведенческие паттерны, основанные на подходах из различных направлений психологии. К примеру, мы задействовали принципы гештальт-психологии при тестировании визуального элемента «курсор» внутри баннера:

Согласно постулатам гештальт-психологии визуальная реализация эксплуатирует незавершенность образа. На практике это означает, что пользователь, согласно прошлому опыту взаимодействия  с веб-пространством, соотносит курсор, наведенный на call-to-action элемент, с намерением клика. Такое, казалось бы, незначительное графическое решение показывает весьма высокие результаты: средний общий прирост ключевых показателей эффективности письма (Click-Through Rate и Conversion Rate) при тестировании баннеров, содержащих визуальный элемент курсора, составил 70.1%.

На одной из важнейших категорий поведенческой психологии — стимуле —  основана другая успешная гипотеза: вопросительная тема письма. Вопрос в теме является рычагом, воздействующим на мотивы пользователя, ему становится интересно открыть письмо и внимательно ознакомиться с содержанием. Средний прирост ключевых показателей эффективности письма при тестировании вопросительной темы письма равняется +22.5%.

Еще один пример эксплуатации стимула представляет собой наша гипотеза «агрегирования товаров»:

Количество товарных карточек в блоке сокращается до одной, с добавлением предложения посмотреть остальные товары через CTA-элемент. Средний общий прирост ключевых показателей эффективности письма при тестировании данной гипотезы составил +19.9%.

Количество проведённых тестов, основанных на принципах когнитивно-поведенческой психологии, на данный момент составляет 43, в будущем это число, как и количество гипотез, будет только расти.

7.  Одним из наиболее интересных кейсов стало использование символов emoji в теме письма. Ожидается, что любое изменение темы влияет на открываемость писем (Open Rate), но наше тестирование выявило неожиданный факт: символы emoji влияют не только на Open Rate (средний рост +6.1%), но и на кликабельность внутри писем (Click-Through Rate, средний рост +5.6%) и конверсию (Conversion Rate, средний рост +3.3%). Мы постараемся объяснить, почему это происходит с точки зрения поведенческой психологии.

Ранние парадигмы восприятия потребителя в экономике изображали его предельно рациональным, постоянно сопоставляющим предельные выгоды и издержки, стремящимся максимизировать полезность принимаемых решений. Современные исследования в области поведенческой экономики и нейромаркетинга доказывают иное: эмоциональные характеристики товаров не менее важны для потребителя, чем рациональные, особенно в условиях ограниченной способности потребителя к постоянной переработке получаемой информации.

Если исходить из возможности эмоционального контакта с потребителем, каким он должен быть? Ответ зависит от контекста. Использование символов emoji в email-рассылках можно отнести к примерам стратегии поведенческой мимикрии — копировании модели поведения. Данная стратегия ориентирована на повышение уровня доверия, и наши исследования в рамках A/B-тестирования подтверждают работоспособность этого подхода (общий прирост метрик в среднем составил +15.3%). Люди давно привыкли употреблять в межличностной коммуникации символы emoji, поэтому электронные письма с их использованием они склонны воспринимать как более «дружественные», что и является объяснением роста показателей CTOR, CTR и Conversion Rate. 

8. Насколько в целом эффективна работа наших Growth Hacker’ов — мы можем озвучить и такие данные. Фактический средний прирост заказов за один успешный тест в процентах составил +31.6% на основе данных с исключением экстремумов, явных аномалий и накоплении достаточной статистической достоверности для каждого теста.

Компании и сервисы: Retail Rocket, Техносила
Автор: Артем Казаков

Подписаться на новости

Читайте также

In-App: секретное оружие мобильных маркетологов

Хорошая конверсия – это только остановка на пути к маркетинговой нирване, в то время как удержание – это самое последние препятствие, которое нужно для этого преодолеть.

далее →

Mobile First: 5 фактов о push-уведомлениях в мобильных приложениях

Дать пользователям действительно стоящий повод возвращаться в приложение на ежедневной или еженедельной основе – задача нелегкая, однако именно она играет решающую роль для его успеха. Сегодня Insider поделится своими выводами о самом широко обсуждаемом канале коммуникаций – мобильных push-уведомлениях.

далее →

Почему программы лояльности не работают

В ритейл-компаниях программы лояльности плавно влились в модель продаж как неотъемлемая составляющая. Но дают ли они реальное преимущество перед другими участниками рынка организаторам бонусных программ, программ скидок и программ привилегий? В этой статье вопрос о причинах неудач изложен с позиции банков.

далее →

6 апреля / Комментарии

«Клёв будет!»: история о том, как собрать в четыре раза больше лидов

Проблема интернет-магазинов в том, что обычно они не очень активно работают над лидогенерацией и упускают большую потенциальную возможность дохода. Сегодня мы расскажем вам про то как интернет-магазину подводного снаряжения vlastah.ru удалось собрать в четыре раза больше лидов, которые в результате принесли 28% от общего числа заказов.

далее →

19 марта / Комментарии

Кейс финского бренда FiNN FLARE: как товарные рекомендации увеличили выручку до 13,4%

Сегодняшнему покупателю так просто не угодишь. Ему важны не только ассортимент и цены интернет-магазина, но и возможность быстро найти то, что ему нужно. Эту проблему решают товарные рекомендации, расположенные на разных страницах магазина. Их задача - показать пользователю интересные именно ему товары. Выгоду получают обе стороны: покупатель, который быстро нашел необходимые товары, остается довольным, а магазин получает возможность увеличить прибыль и средний чек. Подробнее о том, как внедрение товарных рекомендаций увеличивает конверсию и выручку магазина, рассказываем на примере интернет-магазина FiNN FLARE.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook