Что такое A/B-тестирование
A/B-тестирование или сплит-тестирование (от англ. split testing — раздельное тестирование) — метод исследования, при котором контрольный вариант сравнивается с тестовым.
Например, сейчас у вас на сайте стоит форма поиска горящих туров (вариант А), и есть гипотеза, что форма кричащего цвета (вариант B) привлечет больше продаж. Чтобы выявить, какой из вариантов работает лучше, нужно на практике реализовать оба варианта, а затем сравнить полученные результаты на статистически значимом объеме трафика. Это и есть A/B-тестирование.
Как правило, в тестировании участвует два варианта. Но вам никто не запрещает провести и десятки тестов – например, проверить форму авиабилетов в разных цветах. В каждом A/B тесте участвует два варианта, где в каждом последующем участвует выигрывавший вариант + один дополнительный.
Помните, что маркетинг не приемлет «золотых стандартов» и даже если вы читали и много раз слышали о том, что работает у многих, это может совсем не подходить для вашей аудитории. Поэтому в работе лучше опираться на результаты собственных тестов, а не на теоретическую информацию, которая «работает у других».
Зачем тестировать разные варианты
Возможно, сейчас с 1 000 посетителей сайта вы получаете 5$, а можете получать 10, но пока не догадываетесь об этом. Чтобы узнать, какая стратегия может зарабатывать больше, как именно этого добиться и где потолок – проводятся тесты.
Перед началом тестирования нужно определить цель. Допустим, вы ваша цель: увеличить конверсию посетителей в продажи авиабилетов. Для этого вы пробуете разместить виджет календаря вместо классической поисковой формы.
Не все тесты связаны с ростом дохода. Вы можете тестировать расположение партнёрских инструментов и смотреть, как меняются поведенческие факторы – время на сайте, процент «дочитываний» и доля отказов. Что в конечном итоге может сказаться на количестве посетителей, которые возвращаются на ваш проект в течение месяца и т.д.
Какая бы цель у вас ни была в рамках A/B теста – всегда чётко определяйтесь с ней до начала теста.
Что тестировать на странице
Вы тестируете ваши гипотезы и предположения, как могло бы быть лучше, чем есть сейчас. Для этого в проект вносятся различные изменения в:
- Дизайн сайта.
- Оформление конкретной страницы.
- Оформление отдельных элементов форм, виджетов, баннеров и т. д.
- Размещение элементов на странице: форм, баннеров, кнопок.
- Изображения товаров, картинки в статьях.
- Текст: заголовки, описания продуктов, акций и специальных предложений, призывы на кнопках. Важно тестировать все параметры текста: содержание, количество, шрифт, размер, расположение текстовых блоков.
- Функционал.
Всё это – большой плацдарм для гипотез, изменений и тестов. Например, вы можете проверить, как изменится поведение посетителей, если вы откажетесь от боковой колонки на сайте. Можно добавить обводку к рекламным блокам AdSense и проверить, к чему это приведёт и т.д.
Можно проводить и более глобальные тесты, например, сравнить – на какой домен лучше реагирует аудитория из контекстной рекламы: в национальной зоне .KZ или международной .COM. Это актуально, например, для работы на рынке Казахстана, где в 2018 году мы платили удвоенную комиссию. Всё это, безусловно, расходует финансы и время, но позволяет выявить лучший вариант.
В рамках Travelpayouts вы можете протестировать:
- Партнёрские программы в одной нише. Например, у нас есть несколько автобусных партнёрок – попробуйте каждую и найдите ту, которая лучше работает именно у вас.
- Партнёрские программы в разных нишах. Определите, например, что предпочитают ваши посетители для путешествий по Европе: аренду машины или автобус.
- Партнёрские инструменты. Например, вы можете использовать различные форматы виджетов. Не останавливайтесь только на тесте формата рекламы, работайте с её расположением и тем, что её окружает. Интересный факт: Махо Кевлишвили – автор проекта aviabiletebi.org, менял поисковую форму более 10 раз, перед тем, как нашел лучший вариант. Узнайте больше про его опыт работы из нашего интервью.
Проводите эксперименты и за пределами Travelpayouts. Например, проверьте, где охотнее покупают авиабилеты: на Авиасейлс или Skyscanner, и какая партнёрская программа приносит вам больший доход.
Как проводить A/B тесты сайтов: 10 шагов
В A/B-тестировании важен системный подход. Прежде чем начинать срочно всё менять на странице, составьте план тестов, ориентируясь на показатели Яндекс.Метрики и Google Analytics, а также на цели, которые вы планируете достичь. В проведении тестов вам могут помочь специальные сервисы, о которых мы рассказали далее.
Пошаговый план, как провести простое A/B тестирование страницы:
- Посмотрите, на каких страницах высокий процент отказов, подумайте, почему так происходит, что нужно изменить. В Яндекс.Метрике это можно увидеть во вкладке Отчёты -> Стандартные отчёты -> Содержание -> Страницы входа:
- Понаблюдайте за поведением пользователей с помощью Вебвизора. Возможно, они не видят кнопку партнёрские инструменты.
- На основании изучения аналитики, предположите, что можно изменить. Сделайте гипотезы.
- Составьте план тестов для этих изменений.
- Внесите изменения.
- Сравнивайте только два варианта страницы. Мультивариантное тестирование, когда сравнивается от 3 вариантов страниц, не даст качественных результатов. Тестируйте только один параметр за раз. Если вы одновременно измените цвет отельного виджета и его расположение, вы не сможете понять, что именно привело к повышению конверсии.
- Сравнивайте варианты одновременно, используя для этого сервисы, о которых мы рассказали ниже. Если вы на неделю повесите один баннер, а на следующей неделе замените его на другой, результаты такого теста нельзя будет считать однозначно верными. Ведь за эти недели на сайт приходил разный трафик, могли наложиться праздники, распродажи и другие события, влияющие на продажи.
- Определите достаточный процент выборки. Может так получиться, что в первые дни теста будет выигрывать контрольный вариант, но затем победит тестовый. Чтобы понять, когда уже можно анализировать результаты, воспользуйтесь калькулятором размера выборки.
- Если в вашей гипотезе было 3 и более вариантов, поэтапно протестируйте каждый.
- Выберите лучший результат и используйте его в работе.
Инструменты для тестирования страниц
В этом пункте 4 сервиса, с помощью которых можно проводить A/B-тесты, даже не зная программирования.
Ручные тесты
Протестировать сайт можно даже без использования специальных сервисов. Пробуйте вставлять различные варианты баннеров, форм и виджетов, располагать их по-разному странице. В личном кабинете Travelpayouts следите, как меняется конверсия.
Минус ручного тестирования в том, что желательно всё-таки запускать одновременно два варианта одной страницы, когда 50% пользователей показывается вариант А, а другой половине, вариант B.
Но если нет возможности воспользоваться инструментами, то лучше попробовать хотя бы это, чем не делать ничего. Такой способ не является полноценным A/B тестам, так как не позволяет провести чистого сравнения, но и из его результатов можно сделать выводы.
Google Analytics Content Experiments
В привычной Google Analytics спрятан инструмент Content Experiments, предназначенный для A/B-тестирования. В аккаунте Google Analytics выберите пункт меню «Поведение» → «Эксперименты»:
Подробнее о том, как пользоваться Google Analytics Content Experiments, читайте в официальной справке или смотрите подробную инструкцию в блоге Convertmonster.
AB Tasty
AB Tasty — простой и функциональный сервис для проведения A/B тестов различного уровня. Ключевые преимущества сервиса:
- Гибкий: вы можете создать любые сценарии тестирования.
- Точный: вы можете таргетировать проведение теста на конкретную группу людей.
- Информативный: вы получите подробный отчёт о событиях.
Для владельцев сайтов на WordPress доступно отдельное расширение, которое упрощает проведение тестов.
Единственный минус сервиса — он дорогой. Самый дешевый план стоит 29 евро в месяц при годовой подписке (32 евро при ежемесячной оплате). При этом, вам может не хватить дешевого тарифа, так как в него включено всего лишь 5 000 посетителей.
Optimizely
Optimizely — это профессиональный продукт для полноценных исследований и больших экспериментов.
Сервис позволяет обработать различные сценарии теста, но при этом остаётся очень простым в использовании. Самое сложное, что предстоит сделать: встроить строчку кода в элемент <head> на странице. А далее при помощи удобной панели управления, вы сможете менять цвета кнопок на тестовой странице, текст, фотографии. Это чем-то похоже на редактирование страницы в графическом редакторе: нужно мышкой перетащить элемент на другое место или одним кликом изменить его цвет.
Optimizely также умеет сегментировать аудиторию сайта по используемому браузеру, источнику перехода, рекламной кампании, типу устройства и другим характеристикам. Результаты тестов оформляются в подробные отчёты.
Стоимость решения устанавливается индивидуально, исходя из задачи. Для приобретения необходимо оставить заявку и дождаться ответа менеджера.
Clickmeter.com
При помощи сервиса Clickmeter можно разделить трафик по ссылке в любом соотношении и направлять его на различные страницы. При этом, всё, что делаете вы — вставляете ссылки, а остальное сделает Clickmeter. Сервис специализируется на A/B тестировании распределения трафика, также он может использоваться для подробной и глубокой аналитики редиректов ссылок.
Например, сравните, на какой странице посетители охотнее покупают туры: на сайте Level.Travel или Onlinetours.
A/B-тестирование разных вариантов страниц — не главная задача Clickmeter. Изначально он предназначен для сравнения эффективности различных рекламных кампаний. С его помощью вы сможете сравнить партнёрские программы из одной ниши, распределяя трафик в заданной пропорции.
Для полноценного использоваться потребуется дополнительный домен. Clickmeter не предоставляет доменов для распределения трафика.
Что делать с результатами
Фиксировать
Это муторно и лениво, но необходимо. Если поленились однажды занести результаты в табличку, непременно их забудете, и тестирование пройдёт даром.
Если вы используете сервисы для A/B тестирования, то результаты сохраняются автоматически. Это удобно, но не решает всех проблем. Как правило, вам все равно придется фиксировать какие-то данные и синхронизировать их между собой.
Например, сервис тестирования покажет данные, кто именно посещал ваш проект, сколько кликов сделано и т. д., но финансовую информацию предстоит выгружать из AdSense, Travelpayouts и других источников.
Определить статистическую значимость
Статистическая значимость покажет, какова вероятность того, что такой же результат появился бы при проведении A/A-теста: сравнении страницы с самой собой. Если такая вероятность велика, значит результаты теста случайны и не показательны.
Для расчёта статистической значимости на основе результатов теста уже тоже придумали калькулятор.
После определения статистической значимости нужно либо выбрать вариант-победитель и запустить в работу, либо оставить без изменений и задуматься, допущена ли ошибка в тестировании или изменение на странице ни на что не влияет. Следующий шаг — придумать новый тест. Пробуй, ошибайся, учись и снова пробуй — только такой подход в итоге приводит к результатам.
Использовать
Выбирайте вариант, который выиграл по результатам статистически значимого теста. Например, вы выявили, что поисковая форма с логотипом Aviasales конвертирует в продажи лучше, чем форма без опознавательных знаков – используйте первую.
Может оказаться, что исходный вариант A – лучше, чем тестовый вариант B. Это нормальная практика. Вы протестировали оба и нашли лучший. В этом случае, оставляйте исходный вариант и думайте над тем, что можно улучшить, а затем проводите следующий A/B тест.