Что такое A/B-тестирование и как его правильно провести

Что такое A/B-тестирование

A/B-тестирование или сплит-тестирование (от англ. split testing — раздельное тестирование) — метод исследования, при котором контрольный вариант сравнивается с тестовым.

Например, сейчас у вас на сайте стоит форма поиска горящих туров (вариант А), и есть гипотеза, что форма кричащего цвета (вариант B) привлечет больше продаж. Чтобы выявить, какой из вариантов работает лучше, нужно на практике реализовать оба варианта, а затем сравнить полученные результаты на статистически значимом объеме трафика. Это и есть A/B-тестирование.

Как правило, в тестировании участвует два варианта. Но вам никто не запрещает провести и десятки тестов – например, проверить форму авиабилетов в разных цветах. В каждом A/B тесте участвует два варианта, где в каждом последующем участвует выигрывавший вариант + один дополнительный.

Помните, что маркетинг не приемлет «золотых стандартов» и даже если вы читали и много раз слышали о том, что работает у многих, это может совсем не подходить для вашей аудитории. Поэтому в работе лучше опираться на результаты собственных тестов, а не на теоретическую информацию, которая «работает у других».

Зачем тестировать разные варианты

Возможно, сейчас с 1 000 посетителей сайта вы получаете 5$, а можете получать 10, но пока не догадываетесь об этом. Чтобы узнать, какая стратегия может зарабатывать больше, как именно этого добиться и где потолок – проводятся тесты.

Перед началом тестирования нужно определить цель. Допустим, вы ваша цель: увеличить конверсию посетителей в продажи авиабилетов. Для этого вы пробуете разместить виджет календаря вместо классической поисковой формы.

Не все тесты связаны с ростом дохода. Вы можете тестировать расположение партнёрских инструментов и смотреть, как меняются поведенческие факторы – время на сайте, процент «дочитываний» и доля отказов. Что в конечном итоге может сказаться на количестве посетителей, которые возвращаются на ваш проект в течение месяца и т.д.

Какая бы цель у вас ни была в рамках A/B теста – всегда чётко определяйтесь с ней до начала теста.

Что тестировать на странице

Вы тестируете ваши гипотезы и предположения, как могло бы быть лучше, чем есть сейчас. Для этого в проект вносятся различные изменения в:

• Дизайн сайта.
• Оформление конкретной страницы.
• Оформление отдельных элементов форм, виджетов, баннеров и т. д.
• Размещение элементов на странице: форм, баннеров, кнопок.
• Изображения товаров, картинки в статьях.
• Текст: заголовки, описания продуктов, акций и специальных предложений, призывы на кнопках. Важно тестировать все параметры текста: содержание, количество, шрифт, размер, расположение текстовых блоков.
• Функционал.

Всё это – большой плацдарм для гипотез, изменений и тестов. Например, вы можете проверить, как изменится поведение посетителей, если вы откажетесь от боковой колонки на сайте. Можно добавить обводку к рекламным блокам AdSense и проверить, к чему это приведёт и т.д.

Можно проводить и более глобальные тесты, например, сравнить – на какой домен лучше реагирует аудитория из контекстной рекламы: в национальной зоне .KZ или международной .COM. Это актуально, например, для работы на рынке Казахстана, где в 2018 году мы платили удвоенную комиссию. Всё это, безусловно, расходует финансы и время, но позволяет выявить лучший вариант.

В рамках Travelpayouts вы можете протестировать:

1. Партнёрские программы в одной нише. Например, у нас есть несколько автобусных партнёрок – попробуйте каждую и найдите ту, которая лучше работает именно у вас.
2. Партнёрские программы в разных нишах. Определите, например, что предпочитают ваши посетители для путешествий по Европе: аренду машины или автобус.
3. Партнёрские инструменты. Например, вы можете использовать различные форматы виджетов. Не останавливайтесь только на тесте формата рекламы, работайте с её расположением и тем, что её окружает. Интересный факт: Махо Кевлишвили – автор проекта aviabiletebi.org, менял поисковую форму более 10 раз, перед тем, как нашел лучший вариант. Узнайте больше про его опыт работы из нашего интервью.

Проводите эксперименты и за пределами Travelpayouts. Например, проверьте, где охотнее покупают авиабилеты: на Авиасейлс или Skyscanner, и какая партнёрская программа приносит вам больший доход.

Как проводить A/B тесты сайтов: 10 шагов

В A/B-тестировании важен системный подход. Прежде чем начинать срочно всё менять на странице, составьте план тестов, ориентируясь на показатели Яндекс.Метрики и Google Analytics, а также на цели, которые вы планируете достичь. В проведении тестов вам могут помочь специальные сервисы, о которых мы рассказали далее.

Пошаговый план, как провести простое A/B тестирование страницы:

1. Посмотрите, на каких страницах высокий процент отказов, подумайте, почему так происходит, что нужно изменить. В Яндекс.Метрике это можно увидеть во вкладке Отчёты -> Стандартные отчёты -> Содержание -> Страницы входа:
2. Понаблюдайте за поведением пользователей с помощью Вебвизора. Возможно, они не видят кнопку партнёрские инструменты.
3. На основании изучения аналитики, предположите, что можно изменить. Сделайте гипотезы.
4. Составьте план тестов для этих изменений.
5. Внесите изменения.
6. Сравнивайте только два варианта страницы. Мультивариантное тестирование, когда сравнивается от 3 вариантов страниц, не даст качественных результатов. Тестируйте только один параметр за раз. Если вы одновременно измените цвет отельного виджета и его расположение, вы не сможете понять, что именно привело к повышению конверсии.
7. Сравнивайте варианты одновременно, используя для этого сервисы, о которых мы рассказали ниже. Если вы на неделю повесите один баннер, а на следующей неделе замените его на другой, результаты такого теста нельзя будет считать однозначно верными. Ведь за эти недели на сайт приходил разный трафик, могли наложиться праздники, распродажи и другие события, влияющие на продажи.
8. Определите достаточный процент выборки. Может так получиться, что в первые дни теста будет выигрывать контрольный вариант, но затем победит тестовый. Чтобы понять, когда уже можно анализировать результаты, воспользуйтесь калькулятором размера выборки.
   
9. Если в вашей гипотезе было 3 и более вариантов, поэтапно протестируйте каждый.
10. Выберите лучший результат и используйте его в работе.

Инструменты для тестирования страниц

В этом пункте 4 сервиса, с помощью которых можно проводить A/B-тесты, даже не зная программирования.

Ручные тесты

Протестировать сайт можно даже без использования специальных сервисов. Пробуйте вставлять различные варианты баннеров, форм и виджетов, располагать их по-разному странице. В личном кабинете Travelpayouts следите, как меняется конверсия.

Минус ручного тестирования в том, что желательно всё-таки запускать одновременно два варианта одной страницы, когда 50% пользователей показывается вариант А, а другой половине, вариант B.

Но если нет возможности воспользоваться инструментами, то лучше попробовать хотя бы это, чем не делать ничего. Такой способ не является полноценным A/B тестам, так как не позволяет провести чистого сравнения, но и из его результатов можно сделать выводы.

Google Analytics Content Experiments

В привычной Google Analytics спрятан инструмент Content Experiments, предназначенный для A/B-тестирования. В аккаунте Google Analytics выберите пункт меню «Поведение» → «Эксперименты»:

Подробнее о том, как пользоваться Google Analytics Content Experiments, читайте в официальной справке или смотрите подробную инструкцию в блоге Convertmonster.

AB Tasty

AB Tasty — простой и функциональный сервис для проведения A/B тестов различного уровня. Ключевые преимущества сервиса:

• Гибкий: вы можете создать любые сценарии тестирования.
• Точный: вы можете таргетировать проведение теста на конкретную группу людей.
• Информативный: вы получите подробный отчёт о событиях.

Для владельцев сайтов на WordPress доступно отдельное расширение, которое упрощает проведение тестов.

Единственный минус сервиса — он дорогой. Самый дешевый план стоит 29 евро в месяц при годовой подписке (32 евро при ежемесячной оплате). При этом, вам может не хватить дешевого тарифа, так как в него включено всего лишь 5 000 посетителей.

Optimizely

Optimizely — это профессиональный продукт для полноценных исследований и больших экспериментов.

Сервис позволяет обработать различные сценарии теста, но при этом остаётся очень простым в использовании. Самое сложное, что предстоит сделать: встроить строчку кода в элемент <head> на странице. А далее при помощи удобной панели управления, вы сможете менять цвета кнопок на тестовой странице, текст, фотографии. Это чем-то похоже на редактирование страницы в графическом редакторе: нужно мышкой перетащить элемент на другое место или одним кликом изменить его цвет.

Optimizely также умеет сегментировать аудиторию сайта по используемому браузеру, источнику перехода, рекламной кампании, типу устройства и другим характеристикам. Результаты тестов оформляются в подробные отчёты.

Стоимость решения устанавливается индивидуально, исходя из задачи. Для приобретения необходимо оставить заявку и дождаться ответа менеджера.

Clickmeter.com

При помощи сервиса Clickmeter можно разделить трафик по ссылке в любом соотношении и направлять его на различные страницы. При этом, всё, что делаете вы — вставляете ссылки, а остальное сделает Clickmeter. Сервис специализируется на A/B тестировании распределения трафика, также он может использоваться для подробной и глубокой аналитики редиректов ссылок.

Например, сравните, на какой странице посетители охотнее покупают туры: на сайте Level.Travel или Onlinetours.

A/B-тестирование разных вариантов страниц — не главная задача Clickmeter. Изначально он предназначен для сравнения эффективности различных рекламных кампаний. С его помощью вы сможете сравнить партнёрские программы из одной ниши, распределяя трафик в заданной пропорции.

Для полноценного использоваться потребуется дополнительный домен. Clickmeter не предоставляет доменов для распределения трафика.

Что делать с результатами

Фиксировать

Это муторно и лениво, но необходимо. Если поленились однажды занести результаты в табличку, непременно их забудете, и тестирование пройдёт даром.

Если вы используете сервисы для A/B тестирования, то результаты сохраняются автоматически. Это удобно, но не решает всех проблем. Как правило, вам все равно придется фиксировать какие-то данные и синхронизировать их между собой.

Например, сервис тестирования покажет данные, кто именно посещал ваш проект, сколько кликов сделано и т. д., но финансовую информацию предстоит выгружать из AdSense, Travelpayouts и других источников.

Определить статистическую значимость

Статистическая значимость покажет, какова вероятность того, что такой же результат появился бы при проведении A/A-теста: сравнении страницы с самой собой. Если такая вероятность велика, значит результаты теста случайны и не показательны.

Для расчёта статистической значимости на основе результатов теста уже тоже придумали калькулятор.

После определения статистической значимости нужно либо выбрать вариант-победитель и запустить в работу, либо оставить без изменений и задуматься, допущена ли ошибка в тестировании или изменение на странице ни на что не влияет. Следующий шаг — придумать новый тест. Пробуй, ошибайся, учись и снова пробуй — только такой подход в итоге приводит к результатам.

Использовать

Выбирайте вариант, который выиграл по результатам статистически значимого теста. Например, вы выявили, что поисковая форма с логотипом Aviasales конвертирует в продажи лучше, чем форма без опознавательных знаков – используйте первую.

Может оказаться, что исходный вариант A – лучше, чем тестовый вариант B. Это нормальная практика. Вы протестировали оба и нашли лучший. В этом случае, оставляйте исходный вариант и думайте над тем, что можно улучшить, а затем проводите следующий A/B тест.