Статья подготовлена совместно с разработчиком Antibot.cloud.
Каким бывает ботовый трафик, и чем он опасен
Обращения к сайту можно разделить на три группы:
- Живые люди, зашедшие через браузер.
- Полезные боты (например, роботы поисковых систем «Яндекс» и Google).
- «Плохие» боты, которые могут нанести ущерб.
Многие даже не знают, сколько ботов бродит по страницам их ресурса. Наверняка вы наблюдали всплески посещений, заходы из необычных локаций или со странных устройств, изучая отчёты «Яндекс.Метрики» или Google Analytics. Скорее всего, за них были ответственны боты. Например, мы в 2021 году заметили рост трафика на блог Travelpayouts с устройств с низким разрешением экрана. А это одно из проявлений ботового трафика.
Ниже на картинке расположен пример статистики многостраничного сайта из кабинета сервиса Antibot.cloud. На ней видно, что процент живых людей («Уники» и «Хиты») составляет всего около 0,5% от количества всех ботов («Не прошли», «Хороших ботов» и «Заблокировано»).
«Хорошие боты» — это роботы поисковых систем, собственные автоматические обращения к API и подобное. «Фейк боты» — это парсеры, которые подставляли юзер-агенты GoogleBot или YandexBot. Те, которые отмечены как «Не прошли» и «Заблокировано», не приносят никакой пользы, а скорее вредят.
Также ботов можно разделить на две категории:
- совершают действия на сайте;
- переходят с одного сайта на другой. Например, кликают по партнёрской ссылке на сайте партнёра и переходят на ресурс бренда.
Цели таких ботов и проблемы, к которым может привести их активность, отличаются.
Ботовый трафик на сайте
Поисковые роботы (краулеры)
Поисковые роботы — это роботы поисковых систем «Яндекса», Google и других. Они ищут новые страницы в сети, сканируют их и помогают индексироваться в поиске.
Это полезные для SEO роботы, которые особых проблем не доставляют.
SEO-боты
SEO-боты принадлежат SEO-платформам (например, Ahrefs, Semrush, Serpstat и других), которые помогают своим пользователям проанализировать ресурсы конкурентов и узнать свой рейтинг. Такие данные помогают владельцам сайтов улучшить позиции в поиске.
Чем опасны:
Единственный урон от таких ботов — это нагрузка на сайт. Если вы не являетесь пользователем SEO-платформ, то можете заблокировать их.
Боты для накрутки поведенческих факторов
Боты для улучшения поведенческих факторов — это «серый» метод продвижения в поисковой выдаче. Их запускают на заказанный сайт, чтобы имитировать посещение реальных людей: просматривать разные страницы в течение длительного времени, чтобы уменьшить показатель отказов.
Чтобы вывести заказанный ресурс в топ, ботов отправляют ухудшать поведенческие факторы на сайтах, которые занимают первые строки поисковой выдачи. Здесь они, наоборот, проводят мало времени на страницах и увеличивают показатель отказов.
Чем опасны:
Ваш ресурс может стать одним из тех, который боты пытаются сместить с топовых позиций поиска.
Боты-парсеры
Парсеры (или скрейперы) собирают важные данные со страниц, такие как адреса или контактные данные. В некоторых случаях парсеры воруют контент.
Чем опасны:
Ваш контент может быть украден и опубликован на других ресурсах. Так, статьи и изображения становятся неуникальными, из-за чего падают позиции сайта в поисковиках.
Боты для поиска уязвимостей
Существуют боты, которые анализируют миллионы сайтов и ищут на них уязвимости. Только одни сообщают о проблемах владельцу, а другие — используют информацию в свою пользу.
Чем опасны:
Передают собранную информацию третьему лицу. Тот может продать данные или использовать их для взлома.
Боты загрузки
Боты загрузки предназначены для того, чтобы скачивать материалы с вашего сайта. Например, бесплатные путеводители или полезные чек-листы, которые владельцы сайтов используют в своей маркетинговой стратегии в качестве лид-магнитов.
Чем опасны:
Создают ложное впечатление об эффективности материалов. Предположим, если в вашем путеводителе есть партнёрские ссылки, вы заметите большое количество скачиваний гайда, но число переходов по ссылкам не будет соответствовать вашей средней конверсии. Тогда вы, скорее всего, захотите переработать материал или изменить маркетинговую воронку. Только если число скачиваний накрутили боты, ваша многодневная работа вряд ли улучшит конверсию.
Боты-спамеры
Боты-спамеры заполняют контактные формы, оставляют бессмысленные или рекламные комментарии на сайтах или в социальных сетях, отправляют фишинговые письма.
Чем опасны:
Спамеры быстро надоедают и негативно влияют на репутацию ресурса. Постоянно приходится читать от них письма, отправленные через форму, или модерировать комментарии.
Ботовый трафик с сайта
Клик-боты
Клик-боты имитируют поведение пользователя и, по сути, занимаются мошенничеством. Например, кликают по рекламе на сайте, партнёрским ссылкам и другим инструментам.
Чем опасны:
Если на сайте есть реклама с оплатой за клики, например, баннеры AdSense, РСЯ или партнёрские ссылки по CPC программам, можно получить бан и остаться без выплат за накрутку кликов. Гуляющие клик-боты сильно искажают статистику по партнёрским CPA программам: показов и кликов по инструментам много, а продаж нет.
Как проверить, есть ли на вашем сайте ботовый трафик
1. Изучайте данные систем аналитики
Проект может годами существовать с ботами, а негативный эффект может не проявиться или проявиться не столь заметно. Например, из-за ботового трафика будут постепенно снижаться позиции страниц сайта в выдаче, что приведёт к замедлению развития проекта.
Причём количество ненужных ботов возрастает вместе с ростом сайта. Ресурс становится более трастовым и раскрученным, растёт количество страниц и беклинков и вместе с тем и количество ботов. Поэтому первостепенная задача владельца — обнаружить вредоносный ботовый трафик.
Вычислить количество ботов, подсчитав все обращения без исключения, можно по логам сервера: access.log и так далее. Ботов, работающих на браузерных движках с поддержкой JS, можно увидеть в «Яндекс.Метрике». Елена Шикова, автор блога trip-together.ru рассказала, как она вычислила ботов с помощью «Метрики». Советы Елены подойдут и для анализа данных в Google Analytics. Читайте статью в нашем блоге.
2. Смотрите статистику по партнёрским программам без учёта ботов
Если вы занимаетесь партнёрским маркетингом, учитывайте, что визиты всех ботов попадают в статистику по партнёрским программам. Это искажает представление о конверсии: трудно оценить, сколько реальных людей интересуются контентом и кликают по партнёрским инструментам. Из-за неточной статистики вы можете принять неверное решение о работе с определёнными брендами: посчитаете, что приводите им большой трафик, но получаете недостаточно высокое вознаграждение за свою работу.
Чтобы статистика партнёров была более точной, мы в Travelpayouts сделали уникальный антибот фильтр, который сейчас отключен. Когда он был установлен на нашем сайте, он автоматически исключал ботовый трафик из всех отчётов и статистикам по партнёрским программам. Вы можете подробнее узнать, как работала антибот фича от Travelpayouts в нашей Базе знаний.
Как бороться с ботовым трафиком и когда начинать?
Стоит регулярно проверять трафик на наличие вредоносных ботов и быть готовым в любой момент выставить защиту. Даже если вы пока не замечаете негативного эффекта, вычислите количество ботового трафика. Если он составляет более 25% от всего трафика, то возникает риск получения проблем в «Яндексе» и Google. Это тот самый «порог», когда вам надо срочно позаботиться о защите.
Важно понимать, что избавиться от ботов на 100% не получится. Но существуют простые сервисы, которые помогут значительно сократить их количество: сохранить свой контент, позиции в выдаче, защитить рекламу и ссылки от скликивания.
BotFAQtor
Помогает анализировать посещения и блокировать трафик по источникам, типам визитов и другим критериям. Сервис предлагает защиту от скликивания баннеров, рекламы «Яндекс.Директ» и Google Ads, антибот для сайта и сервис сокращения ссылок.
Достоинства:
- Большой выбор сервисов и возможность покупать дополнительные проверки.
- Плагин для WordPress для быстрой установки BotFAQtor в пару кликов.
- Незаметный фильтр ботов (при входе пользователю не нужно доказывать, что он человек).
Недостатки:
- Падает скорость загрузки страниц.
- При включённой защите от скликивания рекламы замедляется скорость загрузки баннеров.
Сервис предлагает два тарифа: «Стандарт» стоимостью 7 500 рублей в год или VIP за 40 000 рублей в год. Если количества проверок в этих пакетах будет недостаточно, можно купить дополнительные в течение года.
CloudFlare
CloudFlare ориентировочно защищает 30% всех сайтов.
Достоинства:
- Кэширует статику (картинки) у себя, снижая нагрузку на сервер.
- Если настроить 3 простых правила, то получится отличная защита сразу от многих ботов, которые не поддерживают HTTP2. Это примитивные парсеры контента, чекеры уязвимостей, некоторые спамеры.
- При использовании CloudFlare у вас наготове будет защита от DDOS-атак.
- Всё это доступно на бесплатном тарифе. Даже платные сервисы защиты от DDOS-атак в целом не имеют преимуществ по сравнению с CloudFlare.
Недостатки:
- Исключительно из-за специфики российского законодательства: иногда IP от CloudFlare банит РКН.
- CloudFlare вообще не защищает от накрутки поведенческих факторов.
Сервис предлагает множество опций, в том числе бесплатных для личных сайтов и приложений до 50 пользователей. Если вам нужны более мощные функции безопасности, можно подключить платные опции, цены на которые начинаются от $5 в месяц.
AntiBot
«Антибот» помог решить проблему с ботами в блоге Travelpayouts: он был установлен с февраля 2021 года и останавливал все виды ботов, включая тех, которые накручивают поведенческие факторы. Его можно использовать совместно с CloudFlare.
При антибот-проверке пользователь при заходе на сайт в течение 1-3 секунд видит страницу, похожую на страницу CloudFlare, затем автоматически проходит дальше. Если человек не прошёл автоматический тест, что случается примерно в 5% случаев, ему нужно просто нажать на кнопку.
Достоинства:
- Простая интеграция и настройка.
- Максимальная защита от ботов, маскирующихся людьми для улучшения поведенческих факторов.
- С «Антиботом» сайты не попадают в бан и не меняют позиции в поисковой выдаче.
- Заглушка переведена на самые популярные языки, а ещё её можно кастомизировать.
- «Антибот» защищает рекламу от скликивания ботами и не мешает её работе. Сайты с «Антиботом» успешно проходят модерацию в Adsense и РСЯ (при настройке: нужно добавить в белый список ботов «Яндекса» и Adsense).
- Если у вас нет опыта в установке скриптов, за дополнительную плату можно приобрести установку и настройку «под ключ».
Недостатки:
- Сайт, на котором стоит «Антибот», не получится рекламировать в Google Ads, так как он не пройдёт модерацию.
- Не обеспечивает защиту от DDOS-атак.
Стоимость «Антибота» зависит от количества доменов и варьируется от $25 до $99 в год.
Сталкивались ли вы с ботами? Расскажите в комментариях, как они повлияли на ваш проект и как вы с ними боретесь.
