»
»
Нашествие ботов: откуда берется мусорный прямой трафик и убьет ли он ваше SEO
~ 5 мин.

Нашествие ботов: откуда берется мусорный прямой трафик и убьет ли он ваше SEO

Открываете Яндекс Метрику, а там неприятный сюрприз: резкий скачок прямых заходов. Время на сайте ноль секунд, показатель отказов – 100%. Красивые графики испорчены, показатели конверсии искажены, а в голове резонный вопрос: «За что, и не попадет ли сайт под фильтры Яндекса?».
Мы регулярно сталкиваемся с подобными аномалиями при проведении технических и SEO-аудитов. Давайте разберем техническую изнанку этого явления: кто генерирует этот трафик, стоит ли паниковать и как очистить свою аналитику.

Откуда берутся 100% отказы?

Прямые заходы (когда в источнике трафика нет ссылающегося сайта или поисковой системы) с нулевой активностью — это всегда боты. Живой человек, даже если ошибся окном, проведет на странице хотя бы пару секунд.
Источников у такого мусорного трафика обычно три:
  1. Парсеры и сканеры. Это автоматические скрипты, которые массово обходят интернет. Они могут искать уязвимости в CMS, собирать контактные данные, мониторить цены или копировать контент. Скрипт запрашивает HTML-код страницы, получает его и мгновенно отключается. Отсюда и нулевое время визита.
  2. «Прогрев» бот-сетей для накрутки поведенческих факторов (ПФ). Сейчас накрутка ПФ – масштабный теневой рынок. Чтобы поисковик поверил боту, когда тот пойдет кликать по нужному сайту в выдаче, бот должен иметь «историю». Для этого программы случайно ходят по миллионам сайтов в сети, имитируя бурную деятельность. Ваш сайт просто попал в их случайную базу.
  3. Неумелые козни конкурентов. Иногда конкуренты заказывают «скликивание» или негативную накрутку, чтобы испортить вам статистику. Расчет на то, что поисковик увидит 100% отказов и решит, что ваш сайт некачественный.

Влияет ли это на SEO в Яндексе и рушит ли позиции?

Краткий ответ: нет, позиции это не рушит.
Многие владельцы сайтов боятся, что из-за испорченных поведенческих метрик Яндекс пессимизирует ресурс. Но нужно понимать, как работают алгоритмы антифрода (защиты от накруток) в поисковых системах.
Трафик со 100% отказом, отсутствием движений мыши и нулевым временем на сайте — это самый примитивный паттерн поведения. Антифрод Яндекса моментально классифицирует такие сессии как «роботность» и полностью исключает их из формулы ранжирования. Поисковик понимает, что если бы за такие атаки наказывали владельцев сайтов, то выдачу можно было бы легко перекроить, заказав атаку на конкурентов из топ-10.
Гораздо опаснее для SEO «умные» боты, которые проводят на сайте время, скроллят страницы и имитируют людей, но при этом ломают вам логику пользовательского пути. А 100% отказы – это просто визуальный мусор в вашей Метрике.

Как от них избавиться и нужно ли перенастраивать Метрику?

Избавляться от них нужно обязательно, но не ради SEO, а ради чистоты данных. Когда у вас каталог на сотни тысяч товаров или сложная воронка продаж, принимать маркетинговые решения на основе искаженной аналитики – плохая идея.
Вот как мы обычно решаем эту проблему на проектах:
Шаг 1. Перенастраиваем Яндекс Метрику Это первое, что нужно сделать. Метрика не запретит ботам заходить на сайт, но перестанет учитывать их в отчетах.
  • Зайдите в настройки счетчика → вкладка «Фильтры».
  • В блоке «Фильтрация роботов» переключите чекбокс на «Фильтровать роботов по строгим правилам и поведению». Яндекс начнет жестче отсекать ботный трафик, используя алгоритмы машинного обучения.
Шаг 2. Блокируем на уровне сервера. Если ботов слишком много, они могут создавать паразитную нагрузку на сервер (особенно если у вас тяжелая база данных или сложный обмен с 1С).
Вот рабочие методы, которые мы применяем на практике:
  • Защита на уровне CMS (1С-Битрикс и WordPress). Если нет необходимости править конфиги веб-сервера, мы отсекаем ботов средствами самих движков. В 1С-Битрикс отлично справляется модуль «Проактивная защита» (встроенный WAF) – он автоматически банит IP-адреса за подозрительно частые запросы. Для WordPress мы настраиваем правила Rate Limiting и блокировку ботных подсетей через профильные плагины безопасности (например, Wordfence).
  • Блокировка через панель хостинга. На тарифах виртуального или VIP-хостинга мы превентивно закрываем доступ для мусорных AS-сетей прямо через интерфейс ISPmanager или cPanel, а также активируем встроенные фильтры защиты от флуда, которые сейчас есть у хороших провайдеров.
  • Ограничение по GeoIP (Nginx / .htaccess). Если вы локальный бизнес (например, продаете товары или услуги только по РФ и СНГ), вам не нужен трафик из США, Китая или Индии, откуда часто идут массовые автоматические запросы. На уровне сервера (Nginx) или с помощью модулей CMS можно жестко отрезать все запросы из нецелевых стран.
  • Настройка Rate Limiting (Ограничение частоты запросов). В Nginx можно задать лимит обращений с одного IP-адреса в секунду. Обычный пользователь не генерирует 50 запросов страниц за пару секунд, а вот парсер или бот – легко. Сервер просто начнет отдавать таким торопыгам ошибку 503 или 429, не нагружая базу данных сайта.
  • Блокировка по User-Agent и подсетям хостингов. Анализ логов часто показывает интересную картину: 90% мусорного трафика идет не с домашних провайдеров (Ростелеком, МТС), а с IP-адресов дата-центров и дешевых зарубежных хостингов (Hetzner, DigitalOcean, AWS). Обычным пользователям незачем сидеть с серверных IP. Такие подсети можно заблокировать превентивно. Также стоит отсекать запросы с пустыми или явно «машинными» User-Agent (например, содержащими слова python-requests, curl, bot).
  • Российские Anti-DDoS сервисы. Если бюджет проекта позволяет, а боты начинают класть сервер, можно подключить российские решения уровня DDoS-Guard, Qrator или базовые WAF-экраны от вашего хостинг-провайдера. Они анализируют паттерны трафика и отсеивают ботов еще до того, как те дойдут до вашего сайта, при этом не попадая под блокировки регуляторов.

Чем мы поможем, если разбираться самим не хочется, не получается или просто лень:

Отсев ботов, настройка Метрики и защита от мусорного трафика – лишь малая часть ежедневной рутины. Если вам некогда самостоятельно ковыряться в настройках 1С-Битрикс, WordPress, Tlda следить за стабильностью хостинга и переживать за техническое состояние ресурса, мы готовы забрать эти задачи на себя.
Посмотреть, что входит в наше комплексное обслуживание и какие форматы поддержки сайтов мы предлагаем, можно тут.
Еще по теме
Предварительный аудит
Проведем базовый аудит бизнес-процессов компании для подготовки КП и дорожной карты проекта
Встреча онлайн до 30 минут