Секретные результаты 1 000 A/B-тестов в письмах

Смотрите в каталоге
Бытовая техника

В Retail Rocket нам удалось построить многопоточный и близкий к идеальному процесс проверки гипотез, постоянно совершенствуя нашу базу знаний и ежедневно пополняя ее лучшими практиками. С некоторыми рабочими приемами оптимизации построения писем через А/B-тесты можно ознакомиться в наших специальных подборках:

В январе 2017 года нашей командой Growth Hacker’ов пройден знаковый рубеж — проведен 1000-й А/B-тест. Настало время раскрыть некоторые секреты, интересные цифры и в очередной раз поделиться накопленной экспертизой.

1. Из 1000 A/B-тестов, проведённых командой Growth Hacker’ов Retail Rocket, успешным оказался 341 тест (34.1% от общего числа тестов).

2.  На основании наших прогнозов количество дополнительных ежемесячных заказов, сгенерированное благодаря A/B-тестам, на момент запуска 1000-го теста достигло практически 223 тысяч, которые принесли нашим клиентам более 1 миллиарда рублей.

3.  Услугой A/B-тестирования воспользовались свыше 100 клиентов.

4. В 3 наиболее успешных тестах из 1000 тестировалось наличие купона со скидкой. Общий прирост количества заказов по этим тестам составил: 102%, 153% и 518%; в последнем случае также был уменьшен период задержки перед отправкой письма.

+102%

+153%

+518%

5.  Наиболее востребованным в тестировании элементом писем оказалась тема — средний прирост заказов на успешных тестах темы письма составил +21.7%.

6.  В работе мы используем поведенческие паттерны, основанные на подходах из различных направлений психологии. К примеру, мы задействовали принципы гештальт-психологии при тестировании визуального элемента «курсор» внутри баннера:

Согласно постулатам гештальт-психологии визуальная реализация эксплуатирует незавершенность образа. На практике это означает, что пользователь, согласно прошлому опыту взаимодействия  с веб-пространством, соотносит курсор, наведенный на call-to-action элемент, с намерением клика. Такое, казалось бы, незначительное графическое решение показывает весьма высокие результаты: средний общий прирост ключевых показателей эффективности письма (Click-Through Rate и Conversion Rate) при тестировании баннеров, содержащих визуальный элемент курсора, составил 70.1%.

На одной из важнейших категорий поведенческой психологии — стимуле —  основана другая успешная гипотеза: вопросительная тема письма. Вопрос в теме является рычагом, воздействующим на мотивы пользователя, ему становится интересно открыть письмо и внимательно ознакомиться с содержанием. Средний прирост ключевых показателей эффективности письма при тестировании вопросительной темы письма равняется +22.5%.

Еще один пример эксплуатации стимула представляет собой наша гипотеза «агрегирования товаров»:

Количество товарных карточек в блоке сокращается до одной, с добавлением предложения посмотреть остальные товары через CTA-элемент. Средний общий прирост ключевых показателей эффективности письма при тестировании данной гипотезы составил +19.9%.

Количество проведённых тестов, основанных на принципах когнитивно-поведенческой психологии, на данный момент составляет 43, в будущем это число, как и количество гипотез, будет только расти.

7.  Одним из наиболее интересных кейсов стало использование символов emoji в теме письма. Ожидается, что любое изменение темы влияет на открываемость писем (Open Rate), но наше тестирование выявило неожиданный факт: символы emoji влияют не только на Open Rate (средний рост +6.1%), но и на кликабельность внутри писем (Click-Through Rate, средний рост +5.6%) и конверсию (Conversion Rate, средний рост +3.3%). Мы постараемся объяснить, почему это происходит с точки зрения поведенческой психологии.

Ранние парадигмы восприятия потребителя в экономике изображали его предельно рациональным, постоянно сопоставляющим предельные выгоды и издержки, стремящимся максимизировать полезность принимаемых решений. Современные исследования в области поведенческой экономики и нейромаркетинга доказывают иное: эмоциональные характеристики товаров не менее важны для потребителя, чем рациональные, особенно в условиях ограниченной способности потребителя к постоянной переработке получаемой информации.

Если исходить из возможности эмоционального контакта с потребителем, каким он должен быть? Ответ зависит от контекста. Использование символов emoji в email-рассылках можно отнести к примерам стратегии поведенческой мимикрии — копировании модели поведения. Данная стратегия ориентирована на повышение уровня доверия, и наши исследования в рамках A/B-тестирования подтверждают работоспособность этого подхода (общий прирост метрик в среднем составил +15.3%). Люди давно привыкли употреблять в межличностной коммуникации символы emoji, поэтому электронные письма с их использованием они склонны воспринимать как более «дружественные», что и является объяснением роста показателей CTOR, CTR и Conversion Rate. 

8. Насколько в целом эффективна работа наших Growth Hacker’ов — мы можем озвучить и такие данные. Фактический средний прирост заказов за один успешный тест в процентах составил +31.6% на основе данных с исключением экстремумов, явных аномалий и накоплении достаточной статистической достоверности для каждого теста.

Компании и сервисы: Техносила, Retail Rocket
Автор: Артем Казаков

Подписаться на новости

Читайте также

19 сентября / Комментарии

«Битрикс24» сложен для вас? Его можно упростить

Для сферы В2В зачастую оптимальной CRM-системой является «Битрикс24». Разберем два вида обработки входящих клиентов в «Битрикс24»: с лидами и без лидов.

далее →

12 сентября / Комментарии

Как избежать проигрыша и увеличить эффективность сервиса

В гонке за прибылью можно потерять сервис — важный элемент в работе интернет-магазина. В прошлом году на конференции “Электронная торговля — 2017” Алёна Миронова, директор по маркетингу Деликатеска.ру (на момент изложение доклада), рассказала, как избежать проигрыша и увеличить эффективность сервиса. Мы выделили из её выступления важное и записали для вас.

далее →

11 сентября / Комментарии

Автоматизированные серии писем в интернет-магазине

Нет ничего приятнее, когда роботы регулярно увеличивают вашу прибыль. В интернет-магазине это возможно с помощью автоматизированного e-mail-маркетинга. Письма, которые рассылаются автоматически, бывают разных видов. Давайте теперь вместе разберемся, из чего же состоит наша автоворонка.

далее →

11 сентября / Комментарии

Just.ru: оптимизация поиска увеличила конверсию на 8 %

Just.ru — крупный интернет-магазин компьютерной, цифровой и бытовой техники. Когда мы начали общаться с компанией, поиск на сайте работал медленно, не понимал часть запросов и показывал нерелевантные результаты. Мы предложили улучшить поиск с помощью AnyQuery.

далее →

10 сентября / Комментарии

Win-Win сценарии в стратегии работы с несколькими ретаргетерами

Антон Мелехов, генеральный директор RTB House в России, объясняет на примере из опыта компании, как стратегия работы с несколькими ретаргетерами помогает увеличить доход от кампаний именно с помощью конкуренции.

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook