Три ошибки при A/B-тестах

Три ошибки при A/B-тестах

A/B-тестами не удивишь: они уже почти наше маркетерско-екоммерсовское все. Как работает тестирование вы, наверняка, и сами знаете, поэтому расскажу о трех ошибках при проведении A/B-тестов, которые встречались мне чаще всего.

Вот эти ошибки:

  1. Делать недостаточно тестов. Забывать мультивариативные и A/A-тесты.
  2. Тестировать вообще все. Эту ошибку еще называют «паралич тестирования».
  3. Решать тестами задачи, которые они не решают.

Недостаточно тестов

A/A-тестирование. Недостаточно сделать второй вариант страницы и начать сравнивать. A/B-тесты показывают статистически верный результат, если на обе страницы приходит аудитория одинакового качества. Поэтому, перед тестированием, полезно проверить аудиторию с помощью A/A-теста.

Создайте копию имеющейся у вас страницы, разделите аудиторию пополам и показывайте каждой половине свой дубликат. Разница между показателями конверсии на обеих страницах должна быть в пределах статистической погрешности. Если разница существенная, проводить A/B-тест нет смысла.

Три ошибки при A/B-тестах

На конверсию влияют два фактора: качество аудитории и качество страницы. Так как страницы в обоих случаях одинаковые, значит аудитория распределилась между страницами неравномерно.

Есть два решения. Во-первых, подождите еще пару дней — накопите больше данных. Если показатели сравняются, значит, столько же времени нужно проводить и A/B-тестирование. Во-вторых, измените аудиторию. Например, попробуйте запустить рекламную кампанию специально для тестов.

Мультивариативные тесты. Представьте, вы сделали новый дизайн лендинга. Проверили аудиторию A/A-тестом и наконец-то сравнили старый дизайн (вариант A) и новый (вариант B). Допустим, новый показал конверсию на 15% выше. Отличный результат! Однако, шампанское пока лучше отложить. Настоящее тестирование только начинается.

Подумайте, что еще способно повлиять на конверсию? Например, для целевой страницы стоит поработать над заголовком, попробовать другое главное изображение, перекомпоновать блок с целевым действием. В процессе мультивариативного тестирования делается несколько вариантов одной страницы, чтобы проверить — можно ли добиться лучших результатов.

Допустим, вы решили протестировать две новые фотографии продукта и другой текст на целевой кнопке. Итого в тест пойдет 6 страниц — оригинал (B) и пять комбинаций (B1—B5). Делите трафик на равные части и ждите пару дней. Я говорю о паре дней чтоб дать хоть какой-то ориентир новичкам. На самом деле, вопрос «Сколько ждать чтоб уж наверняка?» достоин подробного ответа, поэтому мы разберем его в следующем посте.

Три ошибки при A/B-тестах

Дождитесь заметной разницы показателей страниц. Потом, вопреки логике, игнорируйте варианты с высокой конверсией — ищите слабое звено. Если лузер нашелся, с криком «This is Sparta!» исключите его из теста. Распределите его аудиторию по оставшимся и снова подождите пока проявится другой слабак.

Если, сколько бы вы не ждали, показатели не стремятся к существенной разнице, то… отсутствие результата — тоже результат. Значит, ваша аудитория не реагирует на изменение заголовка и изображения. Оставьте тот вариант, который радует ваш глаз и завершите тест. Или найдите другие объекты для исследования.

Если же всегда находилась жертва и через несколько итераций выжил только один, пришло время объявить финальный бой за звание абсолютного чемпиона. Допустим, царь горы — B5. Стряхните пыль с оригинала B и запустите контрольный тест: B и B5. Сохранился ли результат?

Три ошибки при A/B-тестах

Однажды, я две недели тестировал 128 вариантов посадочной страницы. И, когда сравнил победителя с оригиналом, тот оказался на голову лучше. Это значит, что я где-то допустил ошибку и разница в конверсиях была связана с внешними факторами, а не с дизайном. К сожалению, мне пришлось начинать сначала.

Тестирование всего

Все знают историю, как несколько лет назад Мариса Майер, (в то время продакт-менеджер Google, сейчас — генеральный директор Yahoo), решила найти идеальный цвет для ссылок. Она протестировала 40 оттенков синего цвета. По слухам, это увеличило клики по ссылкам на несколько десятых долей процента. С учетом масштаба, это увеличило выручку на несколько десятков миллионов долларов. Для Google десятые доли процента — существенное улучшение, но большинство других компаний не почувствует разницу.

Излишние тесты — крайность. Однажды распробовав A/B-тесты, компании начинают тестировать все. Вообще все. Даже самые дебильные инициативы, которые раньше отстреливались здравым смыслом, начинают без промедления попадать в разработку.

— Давайте добавим на главную страницу фотографию котика?

— Кхм. Мы же самосвалы продаем…

— Люди любят котиков! Не верите, давайте проведем A/B-тест!

Если для увлекшегося маркетолога тестирование — это развлечение, то для компании — трата времени и ресурсов отдела разработки. Окупит ли незначительное изменение конверсии эти вложения?

Вспомните, конверсия различается даже при A/A-тесте. А раз так, то при сравнении оттенков ссылок или размера шрифта показатели тоже будут слегка различаться. Если вы не Google, я рекомендую вам рассматривать такие колебания как статистическую погрешность, а не как доказательство или опровержение своей правоты.

Тесты подходят не для каждой задачи

Меня всегда смущало, что A/B-тесты заточены на увеличение эффективности одного шага. То есть, предположим, вы нашли как сделать так, чтобы с первой ступеньки на вторую стало подниматься больше людей. А что, если до покупки еще целая лестница? Что, если ваша задача — не 100 продаж любыми средствами, а долгосрочная лояльность покупателей? A/B-тест не покажет какой дизайн сделал покупателя постоянным. Более того, иногда тестирование вводит в заблуждение.

Мой любимый пример. Даниил Шулейко из Delivery Club рассказывал как они тестировали два баннера. На одном был бургер с табличкой «Голоден?» (Delivery Club доставляет еду), на другом — привлекательная девушка с такой же табличкой. Несложно догадаться, что конверсия в клики по девушке в пух и прах разбила показатель банера с едой.

Возьмем эту историю за основу и предположим, что у нас есть два одинаковых лендинга с разными картинками.

Три ошибки при A/B-тестах

С конверсией в клик здесь все понятно — девушка wins. Предположите, какой будет конверсия в покупку? Думают ли о еде кликающие на картинку девушки? Ответа не будет :)

* * *

Резюме

  1. Чтобы быть уверенным в результатах, начинайте с A/A-тестов, чтобы проверить аудиторию. Победителя A/B-теста погоняйте мультивариативным тестированием. Проверяйте результат сравнением победителя с оригиналом.
  2. Тестируйте только то, что может привести к значительным изменениям. Остерегайтесь паралича тестирования. Обычного паралича — тоже.
  3. Проверяйте свою задачу. A/B-тесты хороши на «коротких дистанциях», для остального есть другие инструменты.

P. S. Кстати, 31 мая и 1 июня пройдет двухдневный интенсив «Маркетинг для интернет-предпринимателей». Еще есть места.

Источник - http://blog.ohmystats.com/tri-oshibki-pri-ab-testah/

Автор: Игорь Назаров

Подписаться на новости

Читайте также

Обсуждение с экспертами новостей прошедшей недели в e-commerce

Наши эксперты: Алексей Прыгин, заместитель генерального директора «МаксиПост»; Наталия Плетнева, директор по продажам DPD в России; Светлана Афанасьева, директор по продажам СДЭК; Антон Бутивщенко, исполнительный директор гарант-сервиса SafeCrow; Алексей Колычев, коммерческий директор платежной системы Wallet One; Иван Артемов, руководитель отдела разработки концепций торговых центров CBRE; Евгений Колесников, руководитель направления «Большие данные и машинное обучение» компании «Инфосистемы Джет»; Юлия Сяглова, преподаватель кафедры маркетинга Института отраслевого менеджмента (ИОМ) РАНХиГС

далее →

Как украинский бизнес использует интернет-маркетинг

Маркетинговое агентство Promodo опубликовало исследование, посвященное интернет-маркетингу в Украине. Исследование отвечает на ряд вопросов, которыми задаются бизнесы, составляя маркетинговую стратегию в интернете: какие инструменты чаще используют, какова их эффективность, какие цели ставят перед интернет-маркетингом и как их измеряют, какая часть рекламного бюджета выделяется на онлайн, кому поручают ведение рекламных кампаний.

далее →

Философский камень для e-commerce, или Как попасть в заветный ТОП-10

Присутствие в ТОП-10 выдачи по ключевому целевому запросу — практически предел мечтаний. Но интернет-магазинов много, и «призовые» места получают не все. Как же выжить в подобной ситуации и получить трафик? Как вывести сайт в лидеры и нужно ли это вообще? Какие инструменты лучше всего использовать? Опытом и наблюдениями делится компания SeoPult, которая вывела в ТОП несколько сотен интернет-магазинов.

далее →

Всё звонки под контролем! Как организовать отдел продаж, обрести гармонию и отправиться в медовый месяц

Мы, как люди взрослые, понимаем, что практически каждая коммерческая организация рано или поздно задумывается о создании отдела продаж. А еще мы, будучи взрослыми, не верим в сказки, поэтому образ Шивы, четырехрукого божества или самого отчаянного мультитаскера в нашей вольной интерпретации, так плохо нам дается. И когда однажды тебе надоедает жонглировать телефоном, портфелем с материалами для встреч, планшетом и ПК, ты создаешь отдел продаж и отправляешься в медовый месяц! История одного бизнеса, который стал контролировать сотовые менеджеров по продажам и обрел гармонию.

далее →

Обсуждение с экспертами новостей прошедшей недели в e-commerce

Наши эксперты: Сергей Макаров, генеральный директор РА «Профитатор» (Kokoc Group); Роман Челлер, руководитель агентства SEOBing; Тимофей Шиколенков, директор по маркетингу и развитию бизнеса, Аудиомания; Сергей Егоров, коммерческий директор СДЭК; Наталия Плетнева, директор по продажам DPD в России; Юлия Быкова, начальник отдела продаж компании «ПЭК»; Евгений Бажанов, агентство i-Media; Федор Рядов, FM Logistic

далее →

X
Нажмите «Нравится»,
чтобы читать Shopolog.ru в Facebook