Секретные результаты 1 000 A/B-тестов в письмах

Смотрите в каталоге
Бытовая техника

В Retail Rocket нам удалось построить многопоточный и близкий к идеальному процесс проверки гипотез, постоянно совершенствуя нашу базу знаний и ежедневно пополняя ее лучшими практиками. С некоторыми рабочими приемами оптимизации построения писем через А/B-тесты можно ознакомиться в наших специальных подборках:

В январе 2017 года нашей командой Growth Hacker’ов пройден знаковый рубеж — проведен 1000-й А/B-тест. Настало время раскрыть некоторые секреты, интересные цифры и в очередной раз поделиться накопленной экспертизой.

1. Из 1000 A/B-тестов, проведённых командой Growth Hacker’ов Retail Rocket, успешным оказался 341 тест (34.1% от общего числа тестов).

2.  На основании наших прогнозов количество дополнительных ежемесячных заказов, сгенерированное благодаря A/B-тестам, на момент запуска 1000-го теста достигло практически 223 тысяч, которые принесли нашим клиентам более 1 миллиарда рублей.

3.  Услугой A/B-тестирования воспользовались свыше 100 клиентов.

4. В 3 наиболее успешных тестах из 1000 тестировалось наличие купона со скидкой. Общий прирост количества заказов по этим тестам составил: 102%, 153% и 518%; в последнем случае также был уменьшен период задержки перед отправкой письма.

+102%

+153%

+518%

5.  Наиболее востребованным в тестировании элементом писем оказалась тема — средний прирост заказов на успешных тестах темы письма составил +21.7%.

6.  В работе мы используем поведенческие паттерны, основанные на подходах из различных направлений психологии. К примеру, мы задействовали принципы гештальт-психологии при тестировании визуального элемента «курсор» внутри баннера:

Согласно постулатам гештальт-психологии визуальная реализация эксплуатирует незавершенность образа. На практике это означает, что пользователь, согласно прошлому опыту взаимодействия  с веб-пространством, соотносит курсор, наведенный на call-to-action элемент, с намерением клика. Такое, казалось бы, незначительное графическое решение показывает весьма высокие результаты: средний общий прирост ключевых показателей эффективности письма (Click-Through Rate и Conversion Rate) при тестировании баннеров, содержащих визуальный элемент курсора, составил 70.1%.

На одной из важнейших категорий поведенческой психологии — стимуле —  основана другая успешная гипотеза: вопросительная тема письма. Вопрос в теме является рычагом, воздействующим на мотивы пользователя, ему становится интересно открыть письмо и внимательно ознакомиться с содержанием. Средний прирост ключевых показателей эффективности письма при тестировании вопросительной темы письма равняется +22.5%.

Еще один пример эксплуатации стимула представляет собой наша гипотеза «агрегирования товаров»:

Количество товарных карточек в блоке сокращается до одной, с добавлением предложения посмотреть остальные товары через CTA-элемент. Средний общий прирост ключевых показателей эффективности письма при тестировании данной гипотезы составил +19.9%.

Количество проведённых тестов, основанных на принципах когнитивно-поведенческой психологии, на данный момент составляет 43, в будущем это число, как и количество гипотез, будет только расти.

7.  Одним из наиболее интересных кейсов стало использование символов emoji в теме письма. Ожидается, что любое изменение темы влияет на открываемость писем (Open Rate), но наше тестирование выявило неожиданный факт: символы emoji влияют не только на Open Rate (средний рост +6.1%), но и на кликабельность внутри писем (Click-Through Rate, средний рост +5.6%) и конверсию (Conversion Rate, средний рост +3.3%). Мы постараемся объяснить, почему это происходит с точки зрения поведенческой психологии.

Ранние парадигмы восприятия потребителя в экономике изображали его предельно рациональным, постоянно сопоставляющим предельные выгоды и издержки, стремящимся максимизировать полезность принимаемых решений. Современные исследования в области поведенческой экономики и нейромаркетинга доказывают иное: эмоциональные характеристики товаров не менее важны для потребителя, чем рациональные, особенно в условиях ограниченной способности потребителя к постоянной переработке получаемой информации.

Если исходить из возможности эмоционального контакта с потребителем, каким он должен быть? Ответ зависит от контекста. Использование символов emoji в email-рассылках можно отнести к примерам стратегии поведенческой мимикрии — копировании модели поведения. Данная стратегия ориентирована на повышение уровня доверия, и наши исследования в рамках A/B-тестирования подтверждают работоспособность этого подхода (общий прирост метрик в среднем составил +15.3%). Люди давно привыкли употреблять в межличностной коммуникации символы emoji, поэтому электронные письма с их использованием они склонны воспринимать как более «дружественные», что и является объяснением роста показателей CTOR, CTR и Conversion Rate. 

8. Насколько в целом эффективна работа наших Growth Hacker’ов — мы можем озвучить и такие данные. Фактический средний прирост заказов за один успешный тест в процентах составил +31.6% на основе данных с исключением экстремумов, явных аномалий и накоплении достаточной статистической достоверности для каждого теста.

Компании и сервисы: Техносила, Retail Rocket
Автор: Артем Казаков

Подписаться на новости

Читайте также

7 февраля / Комментарии

Кейс персонализации сайта Baby&Tiener: рост выручки на 13,4%

Персональный подход становится уже не просто нормой, а переходит в раздел musthave для каждого интернет-магазина. Так подумал и крупный игрок ecommerce рынка Нидерландов - магазин товаров для детей Baby&Tiener. Рассказываем, как внедрение персональных рекомендаций на всех страницах сайта позволило ритейлеру увеличить выручку на 13,4%.

далее →

16 января / Комментарии

Кейс персонализации интернет-магазина Dungelmann-Schoenen.nl: рост конверсии на 12,85%

Представьте, как приятно удивляются пользователи, когда видят на главной странице интернет-магазина именно те товары, которые им нравятся. Эти позитивные эмоции, теперь ассоциируются с вашим брендом, приводя к росту лояльности, вместе с которой растет и количество совершаемых покупок. О том, как предугадывать желания пользователей, рассказываем на примере голландского интернет-магазина обуви Dungelmann-Schoenen.nl, которому внедрение персональных рекомендаций принесло рост конверсии на 12,85%.

далее →

21 декабря 2017 / Комментарии

Кейс Toolmax.nl: рост конверсии на 13,75% за счет персонализации сайта

Продолжаем рассказывать о наших зарубежных кейсах. Сегодня мы решили поделиться результатами, которые персональные рекомендации принесли голландскому интернет-магазину DIY-сектора Toolmax.nl.

далее →

5 декабря 2017 / Комментарии

Как сэкономить до 80% времени email-маркетолога с помощью автоматизированных категорийных кампаний

Сегодня мы расскажем, что такое “автоматизированные категорийные рассылки” и как они помогут стать еще на шаг ближе к автоматизации маркетинга и освобождению времени для более важных стратегических задач.

далее →

29 ноября 2017 / Комментарии

Они бросают корзины? Пошлите им… Push!

Браузерные Push-нотификации появились совсем недавно, менее трех лет назад. Но сегодня большинство продвинутых специалистов по директ-маркетингу с удовольствием используют этот канал коммуникаций. В этом материале лучшие практики в триггерных Push-коммуникациях по брошенным корзинам.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook