Три ошибки при A/B-тестах

Три ошибки при A/B-тестах

A/B-тестами не удивишь: они уже почти наше маркетерско-екоммерсовское все. Как работает тестирование вы, наверняка, и сами знаете, поэтому расскажу о трех ошибках при проведении A/B-тестов, которые встречались мне чаще всего.

Вот эти ошибки:

  1. Делать недостаточно тестов. Забывать мультивариативные и A/A-тесты.
  2. Тестировать вообще все. Эту ошибку еще называют «паралич тестирования».
  3. Решать тестами задачи, которые они не решают.

Недостаточно тестов

A/A-тестирование. Недостаточно сделать второй вариант страницы и начать сравнивать. A/B-тесты показывают статистически верный результат, если на обе страницы приходит аудитория одинакового качества. Поэтому, перед тестированием, полезно проверить аудиторию с помощью A/A-теста.

Создайте копию имеющейся у вас страницы, разделите аудиторию пополам и показывайте каждой половине свой дубликат. Разница между показателями конверсии на обеих страницах должна быть в пределах статистической погрешности. Если разница существенная, проводить A/B-тест нет смысла.

Три ошибки при A/B-тестах

На конверсию влияют два фактора: качество аудитории и качество страницы. Так как страницы в обоих случаях одинаковые, значит аудитория распределилась между страницами неравномерно.

Есть два решения. Во-первых, подождите еще пару дней — накопите больше данных. Если показатели сравняются, значит, столько же времени нужно проводить и A/B-тестирование. Во-вторых, измените аудиторию. Например, попробуйте запустить рекламную кампанию специально для тестов.

Мультивариативные тесты. Представьте, вы сделали новый дизайн лендинга. Проверили аудиторию A/A-тестом и наконец-то сравнили старый дизайн (вариант A) и новый (вариант B). Допустим, новый показал конверсию на 15% выше. Отличный результат! Однако, шампанское пока лучше отложить. Настоящее тестирование только начинается.

Подумайте, что еще способно повлиять на конверсию? Например, для целевой страницы стоит поработать над заголовком, попробовать другое главное изображение, перекомпоновать блок с целевым действием. В процессе мультивариативного тестирования делается несколько вариантов одной страницы, чтобы проверить — можно ли добиться лучших результатов.

Допустим, вы решили протестировать две новые фотографии продукта и другой текст на целевой кнопке. Итого в тест пойдет 6 страниц — оригинал (B) и пять комбинаций (B1—B5). Делите трафик на равные части и ждите пару дней. Я говорю о паре дней чтоб дать хоть какой-то ориентир новичкам. На самом деле, вопрос «Сколько ждать чтоб уж наверняка?» достоин подробного ответа, поэтому мы разберем его в следующем посте.

Три ошибки при A/B-тестах

Дождитесь заметной разницы показателей страниц. Потом, вопреки логике, игнорируйте варианты с высокой конверсией — ищите слабое звено. Если лузер нашелся, с криком «This is Sparta!» исключите его из теста. Распределите его аудиторию по оставшимся и снова подождите пока проявится другой слабак.

Если, сколько бы вы не ждали, показатели не стремятся к существенной разнице, то… отсутствие результата — тоже результат. Значит, ваша аудитория не реагирует на изменение заголовка и изображения. Оставьте тот вариант, который радует ваш глаз и завершите тест. Или найдите другие объекты для исследования.

Если же всегда находилась жертва и через несколько итераций выжил только один, пришло время объявить финальный бой за звание абсолютного чемпиона. Допустим, царь горы — B5. Стряхните пыль с оригинала B и запустите контрольный тест: B и B5. Сохранился ли результат?

Три ошибки при A/B-тестах

Однажды, я две недели тестировал 128 вариантов посадочной страницы. И, когда сравнил победителя с оригиналом, тот оказался на голову лучше. Это значит, что я где-то допустил ошибку и разница в конверсиях была связана с внешними факторами, а не с дизайном. К сожалению, мне пришлось начинать сначала.

Тестирование всего

Все знают историю, как несколько лет назад Мариса Майер, (в то время продакт-менеджер Google, сейчас — генеральный директор Yahoo), решила найти идеальный цвет для ссылок. Она протестировала 40 оттенков синего цвета. По слухам, это увеличило клики по ссылкам на несколько десятых долей процента. С учетом масштаба, это увеличило выручку на несколько десятков миллионов долларов. Для Google десятые доли процента — существенное улучшение, но большинство других компаний не почувствует разницу.

Излишние тесты — крайность. Однажды распробовав A/B-тесты, компании начинают тестировать все. Вообще все. Даже самые дебильные инициативы, которые раньше отстреливались здравым смыслом, начинают без промедления попадать в разработку.

— Давайте добавим на главную страницу фотографию котика?

— Кхм. Мы же самосвалы продаем…

— Люди любят котиков! Не верите, давайте проведем A/B-тест!

Если для увлекшегося маркетолога тестирование — это развлечение, то для компании — трата времени и ресурсов отдела разработки. Окупит ли незначительное изменение конверсии эти вложения?

Вспомните, конверсия различается даже при A/A-тесте. А раз так, то при сравнении оттенков ссылок или размера шрифта показатели тоже будут слегка различаться. Если вы не Google, я рекомендую вам рассматривать такие колебания как статистическую погрешность, а не как доказательство или опровержение своей правоты.

Тесты подходят не для каждой задачи

Меня всегда смущало, что A/B-тесты заточены на увеличение эффективности одного шага. То есть, предположим, вы нашли как сделать так, чтобы с первой ступеньки на вторую стало подниматься больше людей. А что, если до покупки еще целая лестница? Что, если ваша задача — не 100 продаж любыми средствами, а долгосрочная лояльность покупателей? A/B-тест не покажет какой дизайн сделал покупателя постоянным. Более того, иногда тестирование вводит в заблуждение.

Мой любимый пример. Даниил Шулейко из Delivery Club рассказывал как они тестировали два баннера. На одном был бургер с табличкой «Голоден?» (Delivery Club доставляет еду), на другом — привлекательная девушка с такой же табличкой. Несложно догадаться, что конверсия в клики по девушке в пух и прах разбила показатель банера с едой.

Возьмем эту историю за основу и предположим, что у нас есть два одинаковых лендинга с разными картинками.

Три ошибки при A/B-тестах

С конверсией в клик здесь все понятно — девушка wins. Предположите, какой будет конверсия в покупку? Думают ли о еде кликающие на картинку девушки? Ответа не будет :)

* * *

Резюме

  1. Чтобы быть уверенным в результатах, начинайте с A/A-тестов, чтобы проверить аудиторию. Победителя A/B-теста погоняйте мультивариативным тестированием. Проверяйте результат сравнением победителя с оригиналом.
  2. Тестируйте только то, что может привести к значительным изменениям. Остерегайтесь паралича тестирования. Обычного паралича — тоже.
  3. Проверяйте свою задачу. A/B-тесты хороши на «коротких дистанциях», для остального есть другие инструменты.

P. S. Кстати, 31 мая и 1 июня пройдет двухдневный интенсив «Маркетинг для интернет-предпринимателей». Еще есть места.

Источник - http://blog.ohmystats.com/tri-oshibki-pri-ab-testah/

Автор: igor-nazarov

Подписаться на новости

Читайте также

20 апреля / Комментарии

МТТ определил тренды в digital-маркетинге

ОАО «МТТ», федеральный провайдер интеллектуальных решений для бизнеса, впервые провел масштабное исследование уровня автоматизации маркетинга бизнеса в России.

далее →

20 апреля / Комментарии

Преимущества использования автоматизации в программатике

Буквально в течение трех последних лет, экосистема программатика существенно увеличила cвою долю от общего рынка цифровой рекламы. Персонализированный ретаргетинг, в частности, определен как ее наиболее быстрорастущий сегмент. Использование автоматизации (особенно метода глубокого обучения) поможет вплотную приблизить рекламодателей к достижению поставленных целей.

далее →

19 апреля / Комментарии

Интернет-торговля в России 2018: цифры и факты

19 апреля Федор Вирин выступил на РИФ 2018 с докладом "Интернет-торговля в России 2018", в котором представил ключевые цифры 2018 года и прогнозы.

далее →

19 апреля / Комментарии

Аналитика онлайн-рынка китайских товаров

Компания OT Commerce проанализировали статистику интернет-магазинов, созданных на базе платформы ОТ. Собранные данные показывают наиболее общую картину о состоянии рынка китайских товаров Таобао/1688.

далее →

17 апреля / Комментарии

Обсуждение с экспертами мартовских новостей онлайн-ритейла

Наши эксперты: Александр Субцельный, руководитель агентства MailStep; Михаил Конев, директор службы доставки Boxberry; Диана Голяш, исполнительный директор Siten Group; Юлия Сяглова, преподаватель кафедры маркетинга Института отраслевого менеджмента (ИОМ) РАНХиГС; Клим Миронов, CTO Digital-агентства PICONSULT; Евгений Харьков, ведущий аналитик digital-агентства webit; Петр Тованов, медиабайер Купибилет...

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook