Три ошибки при A/B-тестах

Три ошибки при A/B-тестах

A/B-тестами не удивишь: они уже почти наше маркетерско-екоммерсовское все. Как работает тестирование вы, наверняка, и сами знаете, поэтому расскажу о трех ошибках при проведении A/B-тестов, которые встречались мне чаще всего.

Вот эти ошибки:

  1. Делать недостаточно тестов. Забывать мультивариативные и A/A-тесты.
  2. Тестировать вообще все. Эту ошибку еще называют «паралич тестирования».
  3. Решать тестами задачи, которые они не решают.

Недостаточно тестов

A/A-тестирование. Недостаточно сделать второй вариант страницы и начать сравнивать. A/B-тесты показывают статистически верный результат, если на обе страницы приходит аудитория одинакового качества. Поэтому, перед тестированием, полезно проверить аудиторию с помощью A/A-теста.

Создайте копию имеющейся у вас страницы, разделите аудиторию пополам и показывайте каждой половине свой дубликат. Разница между показателями конверсии на обеих страницах должна быть в пределах статистической погрешности. Если разница существенная, проводить A/B-тест нет смысла.

Три ошибки при A/B-тестах

На конверсию влияют два фактора: качество аудитории и качество страницы. Так как страницы в обоих случаях одинаковые, значит аудитория распределилась между страницами неравномерно.

Есть два решения. Во-первых, подождите еще пару дней — накопите больше данных. Если показатели сравняются, значит, столько же времени нужно проводить и A/B-тестирование. Во-вторых, измените аудиторию. Например, попробуйте запустить рекламную кампанию специально для тестов.

Мультивариативные тесты. Представьте, вы сделали новый дизайн лендинга. Проверили аудиторию A/A-тестом и наконец-то сравнили старый дизайн (вариант A) и новый (вариант B). Допустим, новый показал конверсию на 15% выше. Отличный результат! Однако, шампанское пока лучше отложить. Настоящее тестирование только начинается.

Подумайте, что еще способно повлиять на конверсию? Например, для целевой страницы стоит поработать над заголовком, попробовать другое главное изображение, перекомпоновать блок с целевым действием. В процессе мультивариативного тестирования делается несколько вариантов одной страницы, чтобы проверить — можно ли добиться лучших результатов.

Допустим, вы решили протестировать две новые фотографии продукта и другой текст на целевой кнопке. Итого в тест пойдет 6 страниц — оригинал (B) и пять комбинаций (B1—B5). Делите трафик на равные части и ждите пару дней. Я говорю о паре дней чтоб дать хоть какой-то ориентир новичкам. На самом деле, вопрос «Сколько ждать чтоб уж наверняка?» достоин подробного ответа, поэтому мы разберем его в следующем посте.

Три ошибки при A/B-тестах

Дождитесь заметной разницы показателей страниц. Потом, вопреки логике, игнорируйте варианты с высокой конверсией — ищите слабое звено. Если лузер нашелся, с криком «This is Sparta!» исключите его из теста. Распределите его аудиторию по оставшимся и снова подождите пока проявится другой слабак.

Если, сколько бы вы не ждали, показатели не стремятся к существенной разнице, то… отсутствие результата — тоже результат. Значит, ваша аудитория не реагирует на изменение заголовка и изображения. Оставьте тот вариант, который радует ваш глаз и завершите тест. Или найдите другие объекты для исследования.

Если же всегда находилась жертва и через несколько итераций выжил только один, пришло время объявить финальный бой за звание абсолютного чемпиона. Допустим, царь горы — B5. Стряхните пыль с оригинала B и запустите контрольный тест: B и B5. Сохранился ли результат?

Три ошибки при A/B-тестах

Однажды, я две недели тестировал 128 вариантов посадочной страницы. И, когда сравнил победителя с оригиналом, тот оказался на голову лучше. Это значит, что я где-то допустил ошибку и разница в конверсиях была связана с внешними факторами, а не с дизайном. К сожалению, мне пришлось начинать сначала.

Тестирование всего

Все знают историю, как несколько лет назад Мариса Майер, (в то время продакт-менеджер Google, сейчас — генеральный директор Yahoo), решила найти идеальный цвет для ссылок. Она протестировала 40 оттенков синего цвета. По слухам, это увеличило клики по ссылкам на несколько десятых долей процента. С учетом масштаба, это увеличило выручку на несколько десятков миллионов долларов. Для Google десятые доли процента — существенное улучшение, но большинство других компаний не почувствует разницу.

Излишние тесты — крайность. Однажды распробовав A/B-тесты, компании начинают тестировать все. Вообще все. Даже самые дебильные инициативы, которые раньше отстреливались здравым смыслом, начинают без промедления попадать в разработку.

— Давайте добавим на главную страницу фотографию котика?

— Кхм. Мы же самосвалы продаем…

— Люди любят котиков! Не верите, давайте проведем A/B-тест!

Если для увлекшегося маркетолога тестирование — это развлечение, то для компании — трата времени и ресурсов отдела разработки. Окупит ли незначительное изменение конверсии эти вложения?

Вспомните, конверсия различается даже при A/A-тесте. А раз так, то при сравнении оттенков ссылок или размера шрифта показатели тоже будут слегка различаться. Если вы не Google, я рекомендую вам рассматривать такие колебания как статистическую погрешность, а не как доказательство или опровержение своей правоты.

Тесты подходят не для каждой задачи

Меня всегда смущало, что A/B-тесты заточены на увеличение эффективности одного шага. То есть, предположим, вы нашли как сделать так, чтобы с первой ступеньки на вторую стало подниматься больше людей. А что, если до покупки еще целая лестница? Что, если ваша задача — не 100 продаж любыми средствами, а долгосрочная лояльность покупателей? A/B-тест не покажет какой дизайн сделал покупателя постоянным. Более того, иногда тестирование вводит в заблуждение.

Мой любимый пример. Даниил Шулейко из Delivery Club рассказывал как они тестировали два баннера. На одном был бургер с табличкой «Голоден?» (Delivery Club доставляет еду), на другом — привлекательная девушка с такой же табличкой. Несложно догадаться, что конверсия в клики по девушке в пух и прах разбила показатель банера с едой.

Возьмем эту историю за основу и предположим, что у нас есть два одинаковых лендинга с разными картинками.

Три ошибки при A/B-тестах

С конверсией в клик здесь все понятно — девушка wins. Предположите, какой будет конверсия в покупку? Думают ли о еде кликающие на картинку девушки? Ответа не будет :)

* * *

Резюме

  1. Чтобы быть уверенным в результатах, начинайте с A/A-тестов, чтобы проверить аудиторию. Победителя A/B-теста погоняйте мультивариативным тестированием. Проверяйте результат сравнением победителя с оригиналом.
  2. Тестируйте только то, что может привести к значительным изменениям. Остерегайтесь паралича тестирования. Обычного паралича — тоже.
  3. Проверяйте свою задачу. A/B-тесты хороши на «коротких дистанциях», для остального есть другие инструменты.

P. S. Кстати, 31 мая и 1 июня пройдет двухдневный интенсив «Маркетинг для интернет-предпринимателей». Еще есть места.

Источник - http://blog.ohmystats.com/tri-oshibki-pri-ab-testah/

Автор: igor-nazarov

Подписаться на новости

Читайте также

15 февраля / Комментарии

Обсуждение с экспертами январских новостей в e-commerce

Наши эксперты: Алексей Прыгин, «МаксиПост»; Анна Саломатова, Payture; Максим Алексеев, «Точка-Точка»; Елена Букина, BoostE; Надежда Живора, финансист; Юрий Семашко, «Мегабонус»; Станислав Романов, OMNI Solutions; Михаил Барабаш, «Джинсовая симфония»; Татьяна Глазачева, Robokassa...

далее →

15 февраля / Комментарии

Исследование DPDgroup: предпочтения европейских онлайн-покупателей

DPDgroup совместно с Kantar TNS провела исследование, в ходе которого были определены основные тенденции и перспективы онлайн-шопинга в России. 

далее →

1 февраля / Комментарии

Топ-12 наиболее обсуждаемых новостей онлайн-ритейла за 2018 год

Наши эксперты: Антон Сухарев, кэшбэк-сервис «Мегабонус»; Денис Бочаров, Orange Business Services; Ксения Киянцева, IML; Юлия Носова, АТОЛ Онлайн; Камиль Калимуллин, CEO ADVANTSHOP; Павел Иванов, B2basket; Елена Букина, BoostE; Евгений Нумеров, Skladman USG; Лилия Алеева, ICL Services; Павел Родыгин, Accenture Digital; Дмитрий Ковалев, Profitator (Kokoc Group)...

далее →

31 января / Комментарии

Какой трафик реально продает в маленьких и средних интернет-магазинах в 2018 году. Исследование InSales

Компания InSales провела ежегодное исследование и составила карту источников и востребованных инструментов в разных категориях товаров. В исследовании приняло участие 1 300 маленьких/средних интернет-магазинов с ≥10 заказами в день, и был проведен анализ 1 000 000 заказов и их источников трафика.

далее →

25 января / Комментарии

Обсуждение с экспертами декабрьских новостей в e-commerce

Наши эксперты:Павел Родыгин, Accenture Digital; Алексей Бездеткин, Boxberry; Константин Елистратов, основатель Web-студии Ярга; Роман Казаков, REG.RU; Елена Букина, BoostE; Ксения Киянцева, IML; Маргарита Гаврилова, digital-агентство RACURS; Роман Баранов, Navicon; Павел Иванов, B2basket; Евгений Нумеров, Skladman USG...

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook