Секретные результаты 1 000 A/B-тестов в письмах

Смотрите в каталоге
Бытовая техника

В Retail Rocket нам удалось построить многопоточный и близкий к идеальному процесс проверки гипотез, постоянно совершенствуя нашу базу знаний и ежедневно пополняя ее лучшими практиками. С некоторыми рабочими приемами оптимизации построения писем через А/B-тесты можно ознакомиться в наших специальных подборках:

В январе 2017 года нашей командой Growth Hacker’ов пройден знаковый рубеж — проведен 1000-й А/B-тест. Настало время раскрыть некоторые секреты, интересные цифры и в очередной раз поделиться накопленной экспертизой.

1. Из 1000 A/B-тестов, проведённых командой Growth Hacker’ов Retail Rocket, успешным оказался 341 тест (34.1% от общего числа тестов).

2.  На основании наших прогнозов количество дополнительных ежемесячных заказов, сгенерированное благодаря A/B-тестам, на момент запуска 1000-го теста достигло практически 223 тысяч, которые принесли нашим клиентам более 1 миллиарда рублей.

3.  Услугой A/B-тестирования воспользовались свыше 100 клиентов.

4. В 3 наиболее успешных тестах из 1000 тестировалось наличие купона со скидкой. Общий прирост количества заказов по этим тестам составил: 102%, 153% и 518%; в последнем случае также был уменьшен период задержки перед отправкой письма.

+102%

+153%

+518%

5.  Наиболее востребованным в тестировании элементом писем оказалась тема — средний прирост заказов на успешных тестах темы письма составил +21.7%.

6.  В работе мы используем поведенческие паттерны, основанные на подходах из различных направлений психологии. К примеру, мы задействовали принципы гештальт-психологии при тестировании визуального элемента «курсор» внутри баннера:

Согласно постулатам гештальт-психологии визуальная реализация эксплуатирует незавершенность образа. На практике это означает, что пользователь, согласно прошлому опыту взаимодействия  с веб-пространством, соотносит курсор, наведенный на call-to-action элемент, с намерением клика. Такое, казалось бы, незначительное графическое решение показывает весьма высокие результаты: средний общий прирост ключевых показателей эффективности письма (Click-Through Rate и Conversion Rate) при тестировании баннеров, содержащих визуальный элемент курсора, составил 70.1%.

На одной из важнейших категорий поведенческой психологии — стимуле —  основана другая успешная гипотеза: вопросительная тема письма. Вопрос в теме является рычагом, воздействующим на мотивы пользователя, ему становится интересно открыть письмо и внимательно ознакомиться с содержанием. Средний прирост ключевых показателей эффективности письма при тестировании вопросительной темы письма равняется +22.5%.

Еще один пример эксплуатации стимула представляет собой наша гипотеза «агрегирования товаров»:

Количество товарных карточек в блоке сокращается до одной, с добавлением предложения посмотреть остальные товары через CTA-элемент. Средний общий прирост ключевых показателей эффективности письма при тестировании данной гипотезы составил +19.9%.

Количество проведённых тестов, основанных на принципах когнитивно-поведенческой психологии, на данный момент составляет 43, в будущем это число, как и количество гипотез, будет только расти.

7.  Одним из наиболее интересных кейсов стало использование символов emoji в теме письма. Ожидается, что любое изменение темы влияет на открываемость писем (Open Rate), но наше тестирование выявило неожиданный факт: символы emoji влияют не только на Open Rate (средний рост +6.1%), но и на кликабельность внутри писем (Click-Through Rate, средний рост +5.6%) и конверсию (Conversion Rate, средний рост +3.3%). Мы постараемся объяснить, почему это происходит с точки зрения поведенческой психологии.

Ранние парадигмы восприятия потребителя в экономике изображали его предельно рациональным, постоянно сопоставляющим предельные выгоды и издержки, стремящимся максимизировать полезность принимаемых решений. Современные исследования в области поведенческой экономики и нейромаркетинга доказывают иное: эмоциональные характеристики товаров не менее важны для потребителя, чем рациональные, особенно в условиях ограниченной способности потребителя к постоянной переработке получаемой информации.

Если исходить из возможности эмоционального контакта с потребителем, каким он должен быть? Ответ зависит от контекста. Использование символов emoji в email-рассылках можно отнести к примерам стратегии поведенческой мимикрии — копировании модели поведения. Данная стратегия ориентирована на повышение уровня доверия, и наши исследования в рамках A/B-тестирования подтверждают работоспособность этого подхода (общий прирост метрик в среднем составил +15.3%). Люди давно привыкли употреблять в межличностной коммуникации символы emoji, поэтому электронные письма с их использованием они склонны воспринимать как более «дружественные», что и является объяснением роста показателей CTOR, CTR и Conversion Rate. 

8. Насколько в целом эффективна работа наших Growth Hacker’ов — мы можем озвучить и такие данные. Фактический средний прирост заказов за один успешный тест в процентах составил +31.6% на основе данных с исключением экстремумов, явных аномалий и накоплении достаточной статистической достоверности для каждого теста.

Компании и сервисы: Техносила, Retail Rocket
Автор: Артем Казаков

Читайте также

Почему сервисам доставки важна обратная связь от клиентов

Как обратная связь помогают сервисам доставки, почему негативные комментарии порой полезнее позитивных, и как стимулировать потребителей давать обратную связь, рассказал Николай Петровнин, директор по развитию бизнеса Broniboy.

далее →

14 января / Комментарии

Критерии успеха цифровой трансформации в 2022 году

Как добиться успеха? Как получить воспроизводимые и измеримые результаты? Об этом мы поговорили с исполнительным директором AWG Никитой Шабашкевичем. Предлагаем вам взглянуть на свой бизнес в целом и убедиться, что ваши инициативы по цифровой трансформации действительно работают.

далее →

22 декабря 2021 / Комментарии

Как пережить пандемию, удержаться на рынке и нарастить продажи. Интервью Игоря Головко, исполнительного директора «Дочки-Сыночки»

Игорь Головко, исполнительный директор сети «Дочки-Сыночки», рассказал, что помогло компании пережить трудные месяцы пандемии, как удалось нарастить онлайн-оборот продукции, решить проблемы аренды торговых мест. Так же поговорили о перспективах развития сети в непростое время, маркетинговой политике и системе лояльности.

далее →

7 декабря 2021 / Комментарии

Кейс «Асконы» и Upmetric: Запустили e-чеки с персонализацией, чтобы развивать программу лояльности, получить 20% повторных покупок с нового канала и заложить основу для ROPO-аналитики

Команда Upmetric создала для «Асконы» новый канал персонализированной коммуникации в офлайне с большим охватом и вовлеченностью. Это помогло привести больше людей в программу лояльности и обогатить профиль клиентов, увеличить повторные покупки по персональным промокодам и накапливать данные для идентификации.

далее →

16 ноября 2021 / Комментарии

Разработать инхаус или отдать на аутсорс: 6 мифов про подключение внутреннего поиска в ecommerce

Давайте разберемся с опасениями, которые мешают интернет-магазинам отдать поиск на аутсорс, наконец-то выдохнуть и сосредоточиться на стратегических вопросах.

далее →