Суть эксперимента
В 2018 году мы совместно с автором Телеграм-каналов @travelhacks и @samokatus, Данисом Сахабутдиновым, провели эксперимент и сравнили две партнёрские программы по авиабилетам – Aviasales и Skyscanner.
Суть эксперимента:
- Публикация партнёрских ссылок на авиабилеты в Телеграм-канале @samokatus
- Распределение трафика с одинаковых ссылок между Aviasales и Skyscanner в равных долях
- Измерение дохода с каждой ссылки на протяжении срока жизни куки.
Входные данные
Главная цель | Определить лучшую партнёрку по авиабилетам. |
Подцели | 1. Предоставить рекомендации вебмастерам по выбору партнёрской программы.
2. Сравнить две партнёрки по ключевым пунктам. |
Переменные | 1. Зависимая переменная – прибыль
2. Независимая переменная – трафик |
Метод | A/B тестирование |
Длительность | 10 апреля – 20 августа 2018 года (132 дня) |
Ограничения | Результаты справедливы только в условиях, актуальных на момент проведения эксперимента |
Для чистоты эксперимента трафик распределялся не с подобных или похожих ссылок, а с одних и тех же. На Телеграм-канале @samokatus размещались ссылки формата smkt.us/xsd82js, по клику на такую ссылку происходил редирект на Aviasales или на Skyscanner в равных долях.
Для редиректа использовался сервис A/B тестирования clickmeter.com. Он позволяет привязать собственный домен и распределять трафик по заданным параметрам.
Участник эксперимента
@travelhacks и @samokatus – два крупных и успешных telegram-канала. В A/B тесте участвовали лишь некоторые посты с канала @samokatus. Краткое резюме канала, участвующего в эксперименте:
Канал | @samokatus |
Подписчики | 54 871 |
Среднее количество просмотров поста | 12 000 просмотров |
Количество кликов, участвующих в A/B тесте | 27 220 |
Общий доход в рамках A/B тестирования | 23 583 рублей |
Канал @samokatus является трастовым и приносящим доход для Skyscanner, поэтому партнёрка автоматически предлагает высокую комиссию за клик. Подробнее о расчёте комиссии читайте в блоке с результатами эксперимента.
Комиссия в Travelpayouts была повышена для партнёра, согласившегося принять участие в тестировании, с 60% до 90%. Это не оказало влияния на результаты, так как для чистоты эксперимента при подсчёте учитывалась базовая ставка.
Важное правило A/B тестов, размер статистически значимой выборки, было не соблюдено, т.к. увеличение объёма выборки могло негативно повлиять на прибыль канала.
Предупреждение
Результаты справедливы только в условиях, актуальных на момент проведения эксперимента.
Ни одна из партнёрских программ не является однозначно лучшей или худшей для вашего проекта и трафика, пока вы не протестируете все доступные варианты.
Пытайтесь повторить.
Сложности тестирования
Для детального отслеживания каждой ссылке присваивался уникальный дополнительный маркер в рамках партнёрской программы. О том, как сделать это в Travelpayouts, читайте в базе знаний.
Эксперимент можно разделить на два периода: 10 апреля – 7 июня и 7 июня – 20 августа.
Проблема
В первый период, с апреля по начало июня, мы допустили критическую ошибку – присваивали всем ссылкам, участвующим в A/B тесте, один и тот же дополнительный маркер: .ab, в результате получили сотни действий, которые можно отличить от действий вне A/B теста, но невозможно сравнить между собой:
Решение
Во второй период, с 7 июня по 20 августа, каждой ссылке присваивался уникальный дополнительный маркер формата .ab1, .ab2 и т. д. Это позволило разделять статистику по каждой ссылке, и именно второй этап дал результаты, которые можно обработать.
Вторая часть эксперимента отличается меньшим количеством трафика и большим периодом наблюдения – эти две коррективы были внесены для упрощения процесса ручного мониторинга и анализа полученных результатов и уменьшения риска возможного негативного эффекта на работу канала.
В общей сумме в рамках эксперимента совершенно 27 220 кликов и заработано 23 583 рублей.
Период 1 | Период 2 | Всего | |
Дни | 58 | 74 | 132 |
Клики | 17 881 | 9 339 | 27 220 |
Доход | 11 475 ₽ | 12 108 ₽ | 23 583 ₽ |
Результаты эксперимента
Результаты за первый период невозможно полноценно проанализировать, так как в статистике абсолютно все продажи в рамках A/B теста имели одинаковый дополнительный маркер.
Продажи важно разделять друг от друга, так как в обеих партнёрках используются куки-файлы и продажи учитываются в течение 30 дней после клика. Без разделения каждой отдельной ссылки невозможно понять, какая именно ссылка принесла продажу и за какой срок.
В итоге мы получили большой массив смешанных данных, согласно которым Skyscanner показал на месячном отрезке большую доходность. Данную информацию невозможно использовать, так как с одинаковым дополнительным маркером в отчёте Aviasales и Skyscanner невозможно отделить ссылки “старше” 30 дней в рамках срока жизни куки-файлов.
Для подсчёта использовались данные, полученные за второй период и только те клики, которые возможно различить между собой. Итоги:
Aviasales | Skyscanner | Всего | |
Клики | 3 959 | 3 959 | 7 918 |
Доход | 7 907 ₽ | 4 201 ₽ | 12 108 ₽ |
Доход на клик | 1,99 ₽ | 1,06 ₽ |
В рамках данного эксперимента доход на клик у Aviasales превысил доход Skyscanner на 87,5%. Для чистоты эксперимента доход от Aviasales был пересчитан по стандартной (не повышенной) ставке, доступной для всех партнёров:
Aviasales | Skyscanner | Всего | |
Клики | 3 959 | 3 959 | 7 918 |
Доход | 5 271,60 ₽ | 4 201 ₽ | 9 472,60 ₽ |
Доход на клик | 1,33 ₽ | 1,06 ₽ |
Итоговая разница доходности составила 25,5% в пользу Aviasales.
Обратите внимание, что для хороших показателей доходности в Skyscanner необходимо иметь высокий показатель качества трафика TQS.
Последняя ссылка, участвующая в эксперименте, была размещена 24 июля. Последний доход в рамках теста получен 20 августа. Разница во времени связана со сроком жизни Cookie-файла, с этим связана и невозможность прозрачного подсчёта доходности за первый период.
Рекомендации
1. Обращайте внимание на срок жизни куки. В Aviasales и Skyscanner одинаковый срок – 30 дней. Самая “поздняя” продажа в рамках эксперимента произошла через 26 дней после клика.
2. Учитывайте модель начисления вознаграждения. Важное отличие партнёрской программы Aviasales и Skyscanner в модели начисления вознаграждения.
Aviasales платит процент от стоимости проданного авиабилета (CPA). Skyscanner платит за клик в поисковой выдаче (CPC).
Доход в Skyscanner отличается стабильностью – за клик в выдаче начисляется комиссия, даже если не было продажи. В итоге, доход в Skyscanner есть практически каждый день, когда были переходы. Доход в Aviasales распределяется неравномерно.
Распределение дохода по дням выглядит следующим образом:
Сразу же после размещения инструментов Skyscanner начинает показывать доход, когда в Aviasales доход нулевой. Но продажи в Aviasales способны перекрыть ежедневный доход из Skyscanner.
3. Изучайте, что именно покупает ваша аудитория. Это позволит лучше понимать свою ЦА, а значит предлагать то, что покупают.
В Aviasales возможно увидеть, какой билет в итоге был продан, в партнёрской программе Skyscanner подобной статистики не предоставляется. В рамках теста было выявлено, что люди не всегда покупают то, зачем изначально пришли на сайт поисковика авиабилетов.
4. Изучайте финансовую статистику. ⚖️
Стоимость клика в Skyscanner не поддается прогнозированию и при небольшом количестве продаж средняя стоимость клика снижается. Возможны клики по 0 рублей.
Важно понимать, что Skyscanner не меценат и не будет платить за трафик, который не приносит продажи. Поэтому оценивает трафик согласно конверсии в продажи, о показателях которой партнёры не знают, т.к. продажи не отображаются в кабинете DoubleTrade.
В собственной партнёрке Skyscanner (доступна для крупных проектов) есть показатель качества трофика – TQS (Traffic Quality Score), на основе которого рассчитывается итоговое вознаграждение:
В Aviasales отчисления прогнозируются лучше, т.к. заведомо известно, что в среднем за 1 билет начисляется 1,6% от его цены. Но есть две важных особенности: за некоторые авиабилеты начисляется больше, за некоторые меньше. В рамках A/B теста результаты следующие:
Стоимость авиабилетов | Доход аффилиата | % вознаграждения | |
Июнь | 20 200 ₽ | 555,62 ₽ | 2,75% |
Июль | 236 801 ₽ | 5 643,09 ₽ | 2,39% |
Август | 64 784 ₽ | 1 708,41 ₽ | 2,63% |
Напоминаем, что ставка в рамках эксперимента была увеличена до 90%. При стандартной ставке 60% распределение дохода:
Стоимость авиабилетов | Доход аффилиата | % вознаграждения | |
Июнь | 20 200 ₽ | 371 ₽ | 1,83% |
Июль | 236 801 ₽ | 3 765 ₽ | 1,59% |
Август | 64 784 ₽ | 1 140 ₽ | 1,76% |
Итого среднее вознаграждение – 1,64% от стоимости авиабилета.
Причина редактирования: В изначальных расчётах среднего вознаграждения от 30 ноября использовалась некорректная формула, в результате чего допущена ошибка, и выведен неверный средний процент – 1,73%. Правильное значение среднего вознаграждения – 1,64% от стоимости авиабилета, было рассчитано по формуле: [Общий доход] / [Общая стоимость авиабилетов/100].
5. Монетизируйте продажи на лоукостеры. Существенный минус партнёрки Aviasales – в партнёрке не начисляется вознаграждение за билеты на лоукост компании при бронировании на сайтах лоукостеров. Из этого есть всего два исключения, авиакомпания Pobeda и Pegasus.
В рамках эксперимента мы тестировали Skyscanner на оплату кликов на лоукостеров. Для этого присвоили дополнительные маркеры предложениям лоукостеров. В результате получилась следующая картина:
Согласно таблице выше, часть кликов с дополнительным маркером на билеты Wizzair были оплачены, часть – нет. Так как в партнёрской программе Skyscanner невозможно выявить, какой в итоге билет был продан и куда именно совершен клик, невозможно сделать однозначный вывод об оплате всех кликов на лоукост компании. Ответ от службы поддержки SkyScanner получить не удалось.
Помните рекомендацию №1 и №3 – люди не всегда покупают в первый день, и не всегда покупают то, зачем изначально пришли. А значит, что иногда делают новые поиски и покупают более дорогие билеты спустя несколько дней по той же ссылке.
Сравнение партнёрских программ
Aviasales | Skyscanner | |
Модель оплаты | CPA | CPC |
Средний доход на клик (при прочих равных условиях) | 1,33 ₽ | 1,06 ₽ |
Срок жизни куки (дни) | 30 | 30 |
Подробная статистика по проданным авиабилетам | Есть | Нет |
Размер комиссии | В среднем 1,64% от стоимости билета | 50% от дохода Skyscanner, который не поддаётся прогнозированию |
Возможность повышения комиссии | Есть, правила | Есть, на основе TQS |
Доход с лоукостеров | Нет (2 исключения: Pobeda, Pegasus) | Есть (частично) |