Почему может сработать капча или антибот
В этой статье разберем причины, из-за которых может сработать антибот:
- некоторые антивирусы
- использование некоторых видов VPN и прокси
- специфические или устаревшие браузеры
- отсутствие fingerprint'а
- подозрительное поведение
- сомнительная сетевая активность
- технические признаки автоматизации
Некоторые антивирусы
Это одна из самых частых причин ложного срабатывания антибота. При HTTPS-соединении браузер пользователя отправляет серверу сайта список поддерживаемых алгоритмов шифрования, и тот выбирает один для обмена данными.
Антивирус «встает» между браузером и сайтом, разрывая соединение. Когда браузер отправляет серверу зашифрованные данные, антивирус перехватывает их, шифрует по-своему и направляет дальше в сторону сайта.
Если сайт использует антибот-систему, она ожидает запрос с определенным алгоритмом. Получая другой, антибот показывает капчу. Реальный пользователь проходит ее и попадает на сайт.
Если сотрудники вашей компании не могут получить доступ к вашему сайту из-за установленных на корпоративных устройствах антивирусов, системные администраторы могут внести сайт в список доверенных веб-ресурсов, то есть в список исключений. Антивирус не будет перехватывать и заново шифровать такие запросы.
Инструкции обычно есть на сайте поставщиков антивирусов, например:
Использование некоторых видов VPN и прокси
Причина — та же, что описана выше для антивируса. Некоторые сервисы VPN и прокси-серверы аналогичным образом переупаковывают трафик, из-за чего антибот-система может показать капчу даже если запрос идет от реального пользователя.
Специфические или устаревшие браузеры
Если пользователь пытается зайти на сайт с анонимных браузеров, он тоже увидит капчу. Эти браузеры используют прокси и собственное шифрование.
Капчу придется пройти и пользователям, которые заходят на защищаемый сайт со специфических, редко встречающихся или устаревших браузеров. Часто они используются операционной системой по умолчанию.
Отсутствие или несовпадение fingerprint'а
Fingerprint — это уникальный набор данных об устройстве или браузере пользователя, который позволяет сайтам и сервисам однозначно идентифицировать его среди других.
Антибот срабатывает, если фиксирует отсутствие fingerprint'а или видит несостыковки: например, IP-адрес пользователя соответствует одной стране, а настройки языка или часового пояса в его браузере — другой.
Подозрительное поведение
Антибот выявляет поведенческие паттерны и реагирует на те, которые характерны для ботов:
- множество быстрых запросов за короткое время (rate limit exceeded)
- отсутствие движений мыши, скролла и кликов
- слишком быстрое перемещение по страницам и короткое время просмотра
- попытки обхода JavaScript-проверки (браузер не проходит ее или в нем отключена возможность такой проверки)
Сомнительная сетевая активность
Антибот анализирует IP-адреса и блокирует при следующих признаках:
- IP-адрес из “грязных” диапазонов, которые попали в черные списки (blacklists) из-за подозрительной или вредоносной активности
- IP-адрес уже был “замечен” за атакой или сканированием сайтов на уязвимости
- IP-адрес ранее не попадал в поле зрения системы, но сразу начинает агрессивную активность
Технические признаки автоматизации
Есть ряд параметров, которые с большой долей вероятности характеризуют ботовый трафик:
- запросы без HTTP-заголовков, характерных для реальных пользователей (Referer, Accept-Language, Origin и другие)
- отсутствие cookies или ошибки в них — боты в отличие от человека не получают и не хранят cookies
- нетипичный порядок загрузки элементов страницы — пользователи сначала загружают HTML, потом JS и CSS, а бот может напрямую скачивать API