Три ошибки при A/B-тестах

Три ошибки при A/B-тестах

A/B-тестами не удивишь: они уже почти наше маркетерско-екоммерсовское все. Как работает тестирование вы, наверняка, и сами знаете, поэтому расскажу о трех ошибках при проведении A/B-тестов, которые встречались мне чаще всего.

Вот эти ошибки:

  1. Делать недостаточно тестов. Забывать мультивариативные и A/A-тесты.
  2. Тестировать вообще все. Эту ошибку еще называют «паралич тестирования».
  3. Решать тестами задачи, которые они не решают.

Недостаточно тестов

A/A-тестирование. Недостаточно сделать второй вариант страницы и начать сравнивать. A/B-тесты показывают статистически верный результат, если на обе страницы приходит аудитория одинакового качества. Поэтому, перед тестированием, полезно проверить аудиторию с помощью A/A-теста.

Создайте копию имеющейся у вас страницы, разделите аудиторию пополам и показывайте каждой половине свой дубликат. Разница между показателями конверсии на обеих страницах должна быть в пределах статистической погрешности. Если разница существенная, проводить A/B-тест нет смысла.

Три ошибки при A/B-тестах

На конверсию влияют два фактора: качество аудитории и качество страницы. Так как страницы в обоих случаях одинаковые, значит аудитория распределилась между страницами неравномерно.

Есть два решения. Во-первых, подождите еще пару дней — накопите больше данных. Если показатели сравняются, значит, столько же времени нужно проводить и A/B-тестирование. Во-вторых, измените аудиторию. Например, попробуйте запустить рекламную кампанию специально для тестов.

Мультивариативные тесты. Представьте, вы сделали новый дизайн лендинга. Проверили аудиторию A/A-тестом и наконец-то сравнили старый дизайн (вариант A) и новый (вариант B). Допустим, новый показал конверсию на 15% выше. Отличный результат! Однако, шампанское пока лучше отложить. Настоящее тестирование только начинается.

Подумайте, что еще способно повлиять на конверсию? Например, для целевой страницы стоит поработать над заголовком, попробовать другое главное изображение, перекомпоновать блок с целевым действием. В процессе мультивариативного тестирования делается несколько вариантов одной страницы, чтобы проверить — можно ли добиться лучших результатов.

Допустим, вы решили протестировать две новые фотографии продукта и другой текст на целевой кнопке. Итого в тест пойдет 6 страниц — оригинал (B) и пять комбинаций (B1—B5). Делите трафик на равные части и ждите пару дней. Я говорю о паре дней чтоб дать хоть какой-то ориентир новичкам. На самом деле, вопрос «Сколько ждать чтоб уж наверняка?» достоин подробного ответа, поэтому мы разберем его в следующем посте.

Три ошибки при A/B-тестах

Дождитесь заметной разницы показателей страниц. Потом, вопреки логике, игнорируйте варианты с высокой конверсией — ищите слабое звено. Если лузер нашелся, с криком «This is Sparta!» исключите его из теста. Распределите его аудиторию по оставшимся и снова подождите пока проявится другой слабак.

Если, сколько бы вы не ждали, показатели не стремятся к существенной разнице, то… отсутствие результата — тоже результат. Значит, ваша аудитория не реагирует на изменение заголовка и изображения. Оставьте тот вариант, который радует ваш глаз и завершите тест. Или найдите другие объекты для исследования.

Если же всегда находилась жертва и через несколько итераций выжил только один, пришло время объявить финальный бой за звание абсолютного чемпиона. Допустим, царь горы — B5. Стряхните пыль с оригинала B и запустите контрольный тест: B и B5. Сохранился ли результат?

Три ошибки при A/B-тестах

Однажды, я две недели тестировал 128 вариантов посадочной страницы. И, когда сравнил победителя с оригиналом, тот оказался на голову лучше. Это значит, что я где-то допустил ошибку и разница в конверсиях была связана с внешними факторами, а не с дизайном. К сожалению, мне пришлось начинать сначала.

Тестирование всего

Все знают историю, как несколько лет назад Мариса Майер, (в то время продакт-менеджер Google, сейчас — генеральный директор Yahoo), решила найти идеальный цвет для ссылок. Она протестировала 40 оттенков синего цвета. По слухам, это увеличило клики по ссылкам на несколько десятых долей процента. С учетом масштаба, это увеличило выручку на несколько десятков миллионов долларов. Для Google десятые доли процента — существенное улучшение, но большинство других компаний не почувствует разницу.

Излишние тесты — крайность. Однажды распробовав A/B-тесты, компании начинают тестировать все. Вообще все. Даже самые дебильные инициативы, которые раньше отстреливались здравым смыслом, начинают без промедления попадать в разработку.

— Давайте добавим на главную страницу фотографию котика?

— Кхм. Мы же самосвалы продаем…

— Люди любят котиков! Не верите, давайте проведем A/B-тест!

Если для увлекшегося маркетолога тестирование — это развлечение, то для компании — трата времени и ресурсов отдела разработки. Окупит ли незначительное изменение конверсии эти вложения?

Вспомните, конверсия различается даже при A/A-тесте. А раз так, то при сравнении оттенков ссылок или размера шрифта показатели тоже будут слегка различаться. Если вы не Google, я рекомендую вам рассматривать такие колебания как статистическую погрешность, а не как доказательство или опровержение своей правоты.

Тесты подходят не для каждой задачи

Меня всегда смущало, что A/B-тесты заточены на увеличение эффективности одного шага. То есть, предположим, вы нашли как сделать так, чтобы с первой ступеньки на вторую стало подниматься больше людей. А что, если до покупки еще целая лестница? Что, если ваша задача — не 100 продаж любыми средствами, а долгосрочная лояльность покупателей? A/B-тест не покажет какой дизайн сделал покупателя постоянным. Более того, иногда тестирование вводит в заблуждение.

Мой любимый пример. Даниил Шулейко из Delivery Club рассказывал как они тестировали два баннера. На одном был бургер с табличкой «Голоден?» (Delivery Club доставляет еду), на другом — привлекательная девушка с такой же табличкой. Несложно догадаться, что конверсия в клики по девушке в пух и прах разбила показатель банера с едой.

Возьмем эту историю за основу и предположим, что у нас есть два одинаковых лендинга с разными картинками.

Три ошибки при A/B-тестах

С конверсией в клик здесь все понятно — девушка wins. Предположите, какой будет конверсия в покупку? Думают ли о еде кликающие на картинку девушки? Ответа не будет :)

* * *

Резюме

  1. Чтобы быть уверенным в результатах, начинайте с A/A-тестов, чтобы проверить аудиторию. Победителя A/B-теста погоняйте мультивариативным тестированием. Проверяйте результат сравнением победителя с оригиналом.
  2. Тестируйте только то, что может привести к значительным изменениям. Остерегайтесь паралича тестирования. Обычного паралича — тоже.
  3. Проверяйте свою задачу. A/B-тесты хороши на «коротких дистанциях», для остального есть другие инструменты.

P. S. Кстати, 31 мая и 1 июня пройдет двухдневный интенсив «Маркетинг для интернет-предпринимателей». Еще есть места.

Источник - http://blog.ohmystats.com/tri-oshibki-pri-ab-testah/

Автор: Игорь Назаров

Подписаться на новости

Читайте также

29 ноября / Комментарии

Прогремела или прошелестела Чёрная Пятница? Предварительные итоги

Прогремела по российскому е-коммерсу Чёрная Пятница. Или прошелестела? Не “перегрел” ли российский е-коммерс акциями по году покупателя?
Топ-эксперт и Главный аналитик Price.ru (холдинг RAMBLER&Co) Петровский Алексей подводит предварительные итоги.

далее →

28 ноября / Комментарии

Статистика предпраздничных распродаж Black Friday

Компания Spycob, занимающаяся сбором и анализом данных на товары (одежду, обувь, аксессуары), которые позволяют находить и сравнивать цены на брендовые вещи со всего мира, объединилась с передовой аналитическо-консалтинговой компанией Excelio, чтобы построить отчет, показывающий инсайты праздничных распродаж и помогающий понять, что же на самом деле происходит со скидками в предпраздничный период, за неделю до Black Friday.

далее →

23 ноября / Комментарии

Будущее онлайн-ритейла: digital-покупатель 2.0

Каждый маркетолог или менеджер ценообразования хотя бы раз серьезно задумывался о том, каким будет онлайн-ритейл в будущем. За последние несколько лет digital изменил конкуренцию в электронной торговле: конкурентное преимущество зависит уже не столько от продукта и поведения ваших конкурентов на рынке, сколько от опыта, который получает ваш клиент вместе с покупкой. Добро пожаловать в эру "Экономики впечатлений"!

далее →

22 ноября / Комментарии

За 10 месяцев 2016 года онлайн-платежи выросли на 45%

Онлайн-платежи за первые десять месяцев 2016 года продемонстрировали рост 45% в денежном выражении по отношению к аналогичному периоду 2015 года. В количественном выражении рост за тот же период составил 48%. Заметнее всего вырос сегмент доставки продуктов питания – на 63% в рублях и на 93% в количестве оплаченных заказов. Самое значительное падение произошло в несетевой рознице, торгующей бытовой техникой, электроникой и сопутствующими товарами – здесь платежи в рублях сократились на 27%, а в количественном выражении на 61%.

далее →

17 ноября / Комментарии

Страхи, проблемы и желания интернет покупателей

Согласно опросу РОЦИТ, проведенному на интерактивной площадке “Голос Рунета” в октябре 2016 г., уже более 90% респондентов совершают покупки в отечественных интернет-магазинах, причем каждый 10-ый делает это раз в неделю. Ситуация с зарубежными интернет-магазинами пока обстоит чуть хуже, еженедельно в них заказывает товары лишь каждый 20-ый. 

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook