Секретные результаты 1 000 A/B-тестов в письмах

Смотрите в каталоге
Системы персонализации

В Retail Rocket нам удалось построить многопоточный и близкий к идеальному процесс проверки гипотез, постоянно совершенствуя нашу базу знаний и ежедневно пополняя ее лучшими практиками. С некоторыми рабочими приемами оптимизации построения писем через А/B-тесты можно ознакомиться в наших специальных подборках:

В январе 2017 года нашей командой Growth Hacker’ов пройден знаковый рубеж — проведен 1000-й А/B-тест. Настало время раскрыть некоторые секреты, интересные цифры и в очередной раз поделиться накопленной экспертизой.

1. Из 1000 A/B-тестов, проведённых командой Growth Hacker’ов Retail Rocket, успешным оказался 341 тест (34.1% от общего числа тестов).

2.  На основании наших прогнозов количество дополнительных ежемесячных заказов, сгенерированное благодаря A/B-тестам, на момент запуска 1000-го теста достигло практически 223 тысяч, которые принесли нашим клиентам более 1 миллиарда рублей.

3.  Услугой A/B-тестирования воспользовались свыше 100 клиентов.

4. В 3 наиболее успешных тестах из 1000 тестировалось наличие купона со скидкой. Общий прирост количества заказов по этим тестам составил: 102%, 153% и 518%; в последнем случае также был уменьшен период задержки перед отправкой письма.

+102%

+153%

+518%

5.  Наиболее востребованным в тестировании элементом писем оказалась тема — средний прирост заказов на успешных тестах темы письма составил +21.7%.

6.  В работе мы используем поведенческие паттерны, основанные на подходах из различных направлений психологии. К примеру, мы задействовали принципы гештальт-психологии при тестировании визуального элемента «курсор» внутри баннера:

Согласно постулатам гештальт-психологии визуальная реализация эксплуатирует незавершенность образа. На практике это означает, что пользователь, согласно прошлому опыту взаимодействия  с веб-пространством, соотносит курсор, наведенный на call-to-action элемент, с намерением клика. Такое, казалось бы, незначительное графическое решение показывает весьма высокие результаты: средний общий прирост ключевых показателей эффективности письма (Click-Through Rate и Conversion Rate) при тестировании баннеров, содержащих визуальный элемент курсора, составил 70.1%.

На одной из важнейших категорий поведенческой психологии — стимуле —  основана другая успешная гипотеза: вопросительная тема письма. Вопрос в теме является рычагом, воздействующим на мотивы пользователя, ему становится интересно открыть письмо и внимательно ознакомиться с содержанием. Средний прирост ключевых показателей эффективности письма при тестировании вопросительной темы письма равняется +22.5%.

Еще один пример эксплуатации стимула представляет собой наша гипотеза «агрегирования товаров»:

Количество товарных карточек в блоке сокращается до одной, с добавлением предложения посмотреть остальные товары через CTA-элемент. Средний общий прирост ключевых показателей эффективности письма при тестировании данной гипотезы составил +19.9%.

Количество проведённых тестов, основанных на принципах когнитивно-поведенческой психологии, на данный момент составляет 43, в будущем это число, как и количество гипотез, будет только расти.

7.  Одним из наиболее интересных кейсов стало использование символов emoji в теме письма. Ожидается, что любое изменение темы влияет на открываемость писем (Open Rate), но наше тестирование выявило неожиданный факт: символы emoji влияют не только на Open Rate (средний рост +6.1%), но и на кликабельность внутри писем (Click-Through Rate, средний рост +5.6%) и конверсию (Conversion Rate, средний рост +3.3%). Мы постараемся объяснить, почему это происходит с точки зрения поведенческой психологии.

Ранние парадигмы восприятия потребителя в экономике изображали его предельно рациональным, постоянно сопоставляющим предельные выгоды и издержки, стремящимся максимизировать полезность принимаемых решений. Современные исследования в области поведенческой экономики и нейромаркетинга доказывают иное: эмоциональные характеристики товаров не менее важны для потребителя, чем рациональные, особенно в условиях ограниченной способности потребителя к постоянной переработке получаемой информации.

Если исходить из возможности эмоционального контакта с потребителем, каким он должен быть? Ответ зависит от контекста. Использование символов emoji в email-рассылках можно отнести к примерам стратегии поведенческой мимикрии — копировании модели поведения. Данная стратегия ориентирована на повышение уровня доверия, и наши исследования в рамках A/B-тестирования подтверждают работоспособность этого подхода (общий прирост метрик в среднем составил +15.3%). Люди давно привыкли употреблять в межличностной коммуникации символы emoji, поэтому электронные письма с их использованием они склонны воспринимать как более «дружественные», что и является объяснением роста показателей CTOR, CTR и Conversion Rate. 

8. Насколько в целом эффективна работа наших Growth Hacker’ов — мы можем озвучить и такие данные. Фактический средний прирост заказов за один успешный тест в процентах составил +31.6% на основе данных с исключением экстремумов, явных аномалий и накоплении достаточной статистической достоверности для каждого теста.

Компании и сервисы: Retail Rocket, Техносила
Автор: Артем Казаков

Подписаться на новости

Читайте также

17 ноября 2020 / Комментарии

Как бесплатно создать персональную электронную витрину вознаграждений

Vpodarok.ru делится опытом, как торговой компании, маркетинговому или рекламному агентству быстро и, главное, бесплатно настроить электронную витрину для моментальных вознаграждений для небольших или масштабных промоакций.

далее →

6 ноября 2020 / Комментарии

Как покупатели относятся к платным программам лояльности

За участие в некоторых программах лояльности клиенты готовы платить. Это выгодно и им самим, и брендам. Эксперты приложения «Кошелёк» выяснили, как устроены такие программы.

далее →

28 октября 2020 / Комментарии

Ваше мнение очень важно для нас: как быстро и дешево получить обратную связь от клиентов

По данным американских маркетологов, больше половины потребителей отказываются от запланированной покупки или транзакции из-за плохого обслуживания. Перебои в соединении, долгий ответ менеджера, затянувшееся ожидание заказа — вот лишь часть причин, из-за которых компании (и прежде всего игроки сферы e-commerce) могут потерять своих клиентов. Избежать этого позволяет грамотный и своевременный сбор обратной связи. В этой статье мы расскажем, как организовать его наиболее эффективным и наименее затратным способом.

далее →

21 октября 2020 / Комментарии

Кто такие адвокаты бренда и как они помогают бизнесу

Разбираемся, что движет адвокатами бренда, какую пользу они приносят бизнесу и как международные бренды работают со своей аудиторией адвокатов.

далее →

12 октября 2020 / Комментарии

Кейс Юничел + REES46: +25% выручки из товарных рекомендаций, триггерных цепочек и поиска

Михаил Кечинов, основатель REES46, на примере магазина «Юничел», рассказал, как с помощью товарных рекомендаций, триггерных цепочек и поиска сделать +25% выручки. Из этого кейса вы увидите, как можно добиться подобных результатов в вашем магазине.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook