Инструкция по A/B-тестированию для начинающих

Суть в том, что контрольная группа сравнивается с другими, где меняются элементы. Иначе говоря, вы сравниваете две версии одной переменной, например — текст объявления или расположение баннера на сайте. Этим методом постоянно пользуются в Google, Amazon, eBay и других компаниях, чтобы совершенствовать свои сервисы.

Невозможно понять интуитивно, какой из вариантов будет лучше. Если какая-то штука отлично сработала на одном проекте, это не значит, что она принесет такой же успех второму.

Что можно тестировать:

• визуальные элементы: картинки, видео и цвета
• текст: заголовки, описания и призывы к действию (CTA)
• расположение: кнопок, меню, регистрационных форм
• путь клиента: как пользователь сайта попадает из пункта А в пункт Б

Например, вы запустили рекламу с текстом «Большой выбор по низким ценам». Потом прочитали кейс у конкурента из вашего же сегмента, где он рассказал, что фраза «Остался один экземпляр по низкой стоимости» принесла конверсий больше, чем объявление, похожее по содержанию на ваше.
Единственный способ узнать, сработает ли этот подход у вас, — провести сплит-тестирование.

Приложение для здорового питания и тренировок Arono протестировало два разных фона в блоке с подпиской на рассылку. Так в компании выяснили, что первый вариант работает на 53% лучше второго.

Интернет-магазин Fab решил проверить, какой из вариантов кнопки «Добавить в корзину» будет эффективнее. Версия с соответствующим текстом помогла увеличить конверсии на 49%.

Сплит-тестирование — это способ проверить гипотезу. Она может возникнуть из ниоткуда, просто потому, что вам на мгновение показалось, будто эта штука увеличит продажи. Либо может строиться на выводах, полученных из изучения множества данных и опыта других компаний.

Важно, чтобы это касалось конкретной детали, а не всего продукта в целом. Допустим, цвета кнопки, расположения текста или описания. Также важно сразу понять, что вы будете измерять и на основании чего делать выводы о жизнеспособности гипотезы.

Гипотеза может относиться как ко всей аудитории, так и к ее части: зависеть от города и страны, образа жизни, места работы, увлечений или источника трафика. Чтобы выборка была достаточно независима, пользователей делят на две равные части.

Также можно выбрать и разделить какой-то процент аудитории. Например, провести тест только на 20% от общего числа, где 10% получат вариант А, а другие 10% — Б. Но это будет работать, если у вас большая аудитория и там есть что делить.

Сложно за два дня получить достаточно информации, чтобы подтвердить или опровергнуть гипотезу, потому что есть риск не охватить необходимое количество пользователей. Считается, что для теста нужно набрать хотя бы одну тысячу человек. Но все зависит от метрик, которые вы выбрали. Хотя в целом никто не проводит сплит-тестирование меньше недели.

Например, если вы хотите проверить гипотезу на клики в объявлениях, то охват в тысячу пользователей вполне реально набрать за неделю. А если нужно узнать, сколько человек купит квартиру за несколько миллионов, когда вы поменяете цвет кнопочки с красного на белый, ждать тысячу покупателей будете долго. В такой ситуации нужны весомые результаты по контрольному тесту, которые реально сопоставить с предыдущим аналогичным периодом.

Также нужно учитывать время суток, дни недели, месяц или сезон, если они влияют на поведение пользователя. Это поможет сбалансировать статистическую выборку.

За вас уже разработали платформы, которые помогают проводить тесты.

У компании есть встроенные инструменты для тестирования рекламных объявлений и мобильных приложений. С августа 2019 года тестирование сайтов перенесли с Google Analyitcs на Google Optimize.

Это один из популярных платных сервисов, который помогает тестировать интерфейсы, описания, улучшение производительности и многое другое.

Также платная платформа, которая позволяет тестировать новые идеи, повышать конверсии и совершенствовать маркетинговую воронку.

Для рекламных кампаний в соцсетях подойдут группы объявлений, в рамках которых будут меняться переменные и сравниваться результаты.

Иногда компании разрабатывают собственные инструменты для сплит-тестов, но только когда готовые решения по тем или иным причинам не совсем подходят для их продукта или подхода к тестированию. Поэтому если вы только начинаете, то существующих инструментов будет достаточно.

Как только вы выбрали гипотезу и переменные, а также подключили аналитику, пора следить за результатами. Если вы заметили, что тест зашел куда-то не туда, то его лучше вовремя остановить. Например, когда пользователи реагируют негативно или кликов по объявлению вообще нет, не ждите чуда и не сливайте бюджет. Это значит, что гипотеза не подтвердилась и надо все закончить раньше, чем планировалось.

Когда все идет плюс-минус гладко, дождитесь окончания теста и проанализируйте результаты. Если гипотеза сработала хуже контрольного варианта, то идея провалилась и ничего менять не нужно.

Если эксперимент прошел успешно и все подтвердилось, то пора внедрять и использовать этот вариант «по умолчанию». Если захотите, то можно провести еще одно сплит-тестирование, но вариант Б теперь станет А.

Чтобы проверить точность тестирования или определить базовую конверсию, можно использовать A/A-тест. Обычно так подтверждают, что исследование идет верной дорогой.

В A/A-тесте оба варианта одинаковые, то есть А = Б. Механизм работы при этом довольно похож: для каждого варианта случайным образом формируется равные группы. Так как аудитории получают одинаковый вариант, то результаты будут плюс-минус одинаковые. Если у одного из А результат будет значительно отличаться от второго А, то нужно проверить настройку эксперимента и понять, как произошла статистическая ошибка.