Защита сайта от нежелательных поисковых ботов (MJ12bot, BLEXBot, AhrefsBot и других)

Лекция

Большие сайты с тысячами страниц и интернет-магазины с большим ассортиментом товаров зачастую сталкиваются с проблемой внезапно высокой нагрузки на сервер.

Причиной очень часто становятся не ddos атаки, вирусы или действия хакеров, а обычные роботы малоизвестных поисковых систем или различных сервисов, которые за счет большого количества запросов к сайту в единицу времени приводят к увеличению нагрузки и превышению допустимых на хостинге лимитов.

Замечу, что данная проблема актуальна именно для крупных интернет-магазинов, поскольку, если ваш сайт состоит из 100-500 страниц и менее, то даже средний хостинг справится с такой внезапной нагрузкой без особых проблем. VDS серверы способны выдерживать куда более высокие нагрузки и, как правило, для интернет-магазинов на VDS такая проблема ощутима только в период новогоднего бума или накануне праздников, когда серверы работают на пределе своих возможностей.

Определить причину внезапно высокой нагрузки на сервер порой можно только через анализ логов, но иногда достаточно Яндекс Метрики, которая порой принимает ботов за пользователей.

Признаки появления бота на сайте

Большое количество просмотренных страниц в единицу времени
Нехарактерная для данного времени и дня недели высокая посещаемость сайта
Резкий рост посещаемости пользователей из других стран мира и с необычными для России браузерами
Необычно медленная загрузка страниц сайта
Долгий ответ сервера
Жалобы со стороны хостинга о потреблении сайтом большого кличества ресурсов
Однотипное поведение пользователей с многочисленным посещением одной и той же страницы

Защита сайта от нежелательных поисковых ботов и других автоматизированных сканеров может быть важным шагом для обеспечения безопасности и интегритета вашего веб-ресурса. Вот несколько методов для защиты сайта от нежелательных ботов:

robots.txt: Создайте файл "robots.txt" на вашем сайте, который указывает поисковым ботам, какие части вашего сайта они могут и не могут индексировать. Это может помочь предотвратить доступ к конфиденциальным страницам.
CAPTCHA: Внедрите систему CAPTCHA на страницы вашего сайта, чтобы проверить, является ли посетитель человеком или ботом. Это может помочь в отсеивании автоматических запросов.
IP-фильтрация: Периодически анализируйте журналы доступа к вашему сайту и определяйте IP-адреса, с которых приходит много нежелательных запросов. Затем настройте фильтрацию IP для блокировки доступа с этих адресов.
User-Agent фильтрация: Проверяйте заголовки User-Agent в запросах к вашему серверу. Многие боты используют специфичные User-Agent, и вы можете блокировать их на основе этой информации.
Сессионные токены: Используйте сессионные токены, чтобы подтверждать подлинность запросов. Боты, которые не могут создать и использовать корректные токены, могут быть заблокированы.
Rate Limiting: Ограничьте скорость запросов с одного IP-адреса или пользователя. Это может предотвратить атаки типа "сканирование" или "перебор".
Веб-безопасность: Обеспечьте безопасность вашего сайта с помощью мер безопасности, таких как фильтрация ввода, предотвращение SQL-инъекций и кросс-сайтового скриптинга (XSS). Эти меры могут помочь предотвратить автоматизированные атаки.
Мониторинг: Установите мониторинг безопасности, который будет оповещать вас о подозрительной активности на вашем сайте. Это позволит быстро реагировать на потенциальные угрозы.

Защита от нежелательных ботов - это непрерывный процесс, и важно регулярно анализировать логи и обновлять меры безопасности.

Примеры нежелательных ботов

Нежелательные боты зачастую это вовсе не боты спамеры или парсеры сайтов. Очень часто эти боты представляют различные сервисы или малоизвестные поисковые системы.

Прямой угрозы они не несут, но из-за неправильной настройки, внутренней ошибки или по каким-либо другим причинам они могут создавать высокую нагрузку на сайт за счет большого количества хитов в единицу времени.

Бот mj12bot

Поисковый робот сервиса Majestic, которые собирает данные об исходящих ссылках на сайтах. Робот нормально воспринимает канонические страницы, но на сайтах, где канонические урлы отсутствуют, начинает очень сильно "буксовать" на страницах, в урлах которых содержатся параметры.

Бот BLEXBot

Робот BLEXBot Crawler заявлен как робот поисковой системы - какой именно поисковой системы, на официальной странице не уточняется.

Бот AhrefsBot

Этот робот, равно как и MJ12bot, анализирует страницы сайта на наличие внешних ссылок. Сам сайт ahrefs.com предоставляет наплохой профессиональный сервис по оценке и анализу ссылочного.

Бот HubSpot Webcrawler

Это робот поисковой системы сайта amazon.com. На самом "Амазоне" заявлено, что данная платформа создана для компаний, которым нужно привлечь посетителей, т.е. по сути робот является сборщиком контента с интернет-магазинов.

Другие нежелательные боты

Приведенный ниже перечень ботов мной лично не встречался, но вполне возможно, что они еще существуют:

Aboundex
80legs
360Spider
Java
Cogentbot
Alexibot
asterias
attach
BackDoorBot
BackWeb
Bandit
BatchFTP
Bigfoot
Black.Hole
BlackWidow
BlowFish
BotALot
Buddy
BuiltBotTough
Bullseye
BunnySlippers
Cegbfeieh
CheeseBot
CherryPicker
ChinaClaw
Collector
Copier
CopyRightCheck
cosmos
Crescent
Custo
AIBOT
DISCo
DIIbot
DittoSpyder
Download Demon
Download Devil
Download Wonder
dragonfly
Drip
eCatch
EasyDL
ebingbong
EirGrabber
EmailCollector
EmailSiphon
EmailWolf
EroCrawler
Exabot
Express WebPictures
Extractor
EyeNetIE
Foobot
flunky
FrontPage
Go-Ahead-Got-It
gotit
GrabNet
Grafula
Harvest
hloader
HMView
HTTrack
humanlinks
IlseBot
Image Stripper
Image Sucker
Indy Library
InfoNavibot
InfoTekies
Intelliseek
InterGET
Internet Ninja
Iria
Jakarta
JennyBot
JetCar
JOC
JustView
Jyxobot
Kenjin.Spider
Keyword.Density
larbin
LexiBot
lftp
libWeb/clsHTTP
likse
LinkextractorPro
LinkScan/8.1a.Unix
LNSpiderguy
LinkWalker
lwp-trivial
LWP::Simple
Magnet
Mag-Net
MarkWatch
Mass Downloader
Mata.Hari
Memo
Microsoft.URL
Microsoft URL Control
MIDown tool
MIIxpc
Mirror
Missigua Locator
Mister PiX
moget
Mozilla/3.Mozilla/2.01
Mozilla.*NEWT
NAMEPROTECT
Navroad
NearSite
NetAnts
Netcraft
NetMechanic
NetSpider
Net Vampire
NetZIP
NextGenSearchBot
NG
NICErsPRO
niki-bot
NimbleCrawler
Ninja
NPbot
Octopus
Offline Explorer
Offline Navigator
Openfind
OutfoxBot
PageGrabber
Papa Foto
pavuk
pcBrowser
PHP version tracker
Pockey
ProPowerBot/2.14
ProWebWalker
psbot
Pump
QueryN.Metasearch
RealDownload
Reaper
Recorder
ReGet
RepoMonkey
RMA
Siphon
SiteSnagger
SlySearch
SmartDownload
Snake
Snapbot
Snoopy
sogou
SpaceBison
SpankBot
spanner
Sqworm
Stripper
Sucker
SuperBot
SuperHTTP
Surfbot
suzuran
Szukacz/1.4
tAkeOut
Teleport
Telesoft
TurnitinBot/1.5
The.Intraformant
TheNomad
TightTwatBot
Titan
True_bot
turingos
TurnitinBot
URLy.Warning
Vacuum
VCI
VoidEYE
Web Image Collector
Web Sucker
WebAuto
WebBandit
Webclipping.com
WebCopier
WebEMailExtrac.*" bot
WebEnhancer
WebFetch
WebGo IS
Web.Image.Collector
WebLeacher
WebmasterWorldForumBot
WebReaper
WebSauger
Website eXtractor
Website Quester
Webster
WebStripper
WebWhacker
WebZIP
Whacker
Widow
WISENutbot
WWWOFFLE
WWW-Collector-E
Xaldon
Xenu
Zeus
ZmEu
Zyborg
AhrefsBot
archive.org_bot
bingbot
Wget
Acunetix
FHscan

Ограничение активности ботов с использованием robots.txt

Универсальное решение заключается в том, чтобы через дерективу Crawl-delay в файле robots.txt ограничить количество запросов. Численное значение указывает паузу в секундах между обращениями к сайту.

Типовой пример, подходящий для большинства сайтов

User-agent: * Crawl-delay: 10

10 секунд более чем достаточно, чтобы лимитировать нарузку на сайт роботов поисковых машин.

Впрочем, некоторые нежелательные боты игнорируют данную директиву и даже прямой запрет доступа через robots.txt не спасает от высокой нагрузки.

User-agent: MJ12bot Disallow: /

В таких случаях остается только вариант блокирования доступа к сайта по ip адресам, откуда идут запросы, или по User-agent.

Второй вариант является более предпочтительным, поскольку при блокировании доступа по ip, сайт становится недоступен для всех устройств, в том числе и для обычных пользователей.

Блокирование ботов по User-agent через .htaccess файл

Подавляющее большинство сайтов работает на linux платформе, где роль веб-сервера выполняет Apache сервер. Веб-сервер обрабатывает запросы пользователей и отдает страницы сайта.

Для блокирования доступа по User-agent необходимо в корень сайта добавить файл .htaccess (если его там еще нет) и дописать следующие строки.

SetEnvIfNoCase User-Agent "Aboundex" bot SetEnvIfNoCase User-Agent "80legs" bot SetEnvIfNoCase User-Agent "360Spider" bot SetEnvIfNoCase User-Agent "^Java" bot SetEnvIfNoCase User-Agent "^Cogentbot" bot SetEnvIfNoCase User-Agent "^Alexibot" bot SetEnvIfNoCase User-Agent "^asterias" bot SetEnvIfNoCase User-Agent "^attach" bot SetEnvIfNoCase User-Agent "^BackDoorBot" bot SetEnvIfNoCase User-Agent "^BackWeb" bot SetEnvIfNoCase User-Agent "Bandit" bot SetEnvIfNoCase User-Agent "^BatchFTP" bot SetEnvIfNoCase User-Agent "^Bigfoot" bot SetEnvIfNoCase User-Agent "^Black.Hole" bot SetEnvIfNoCase User-Agent "^BlackWidow" bot SetEnvIfNoCase User-Agent "^BlowFish" bot SetEnvIfNoCase User-Agent "^BotALot" bot SetEnvIfNoCase User-Agent "Buddy" bot SetEnvIfNoCase User-Agent "^BuiltBotTough" bot SetEnvIfNoCase User-Agent "^Bullseye" bot SetEnvIfNoCase User-Agent "^BunnySlippers" bot SetEnvIfNoCase User-Agent "^Cegbfeieh" bot SetEnvIfNoCase User-Agent "^CheeseBot" bot SetEnvIfNoCase User-Agent "^CherryPicker" bot SetEnvIfNoCase User-Agent "^ChinaClaw" bot SetEnvIfNoCase User-Agent "Collector" bot SetEnvIfNoCase User-Agent "Copier" bot SetEnvIfNoCase User-Agent "^CopyRightCheck" bot SetEnvIfNoCase User-Agent "^cosmos" bot SetEnvIfNoCase User-Agent "^Crescent" bot SetEnvIfNoCase User-Agent "^Custo" bot SetEnvIfNoCase User-Agent "^AIBOT" bot SetEnvIfNoCase User-Agent "^DISCo" bot SetEnvIfNoCase User-Agent "^DIIbot" bot SetEnvIfNoCase User-Agent "^DittoSpyder" bot SetEnvIfNoCase User-Agent "^Download\ Demon" bot SetEnvIfNoCase User-Agent "^Download\ Devil" bot SetEnvIfNoCase User-Agent "^Download\ Wonder" bot SetEnvIfNoCase User-Agent "^dragonfly" bot SetEnvIfNoCase User-Agent "^Drip" bot SetEnvIfNoCase User-Agent "^eCatch" bot SetEnvIfNoCase User-Agent "^EasyDL" bot SetEnvIfNoCase User-Agent "^ebingbong" bot SetEnvIfNoCase User-Agent "^EirGrabber" bot SetEnvIfNoCase User-Agent "^EmailCollector" bot SetEnvIfNoCase User-Agent "^EmailSiphon" bot SetEnvIfNoCase User-Agent "^EmailWolf" bot SetEnvIfNoCase User-Agent "^EroCrawler" bot SetEnvIfNoCase User-Agent "^Exabot" bot SetEnvIfNoCase User-Agent "^Express\ WebPictures" bot SetEnvIfNoCase User-Agent "Extractor" bot SetEnvIfNoCase User-Agent "^EyeNetIE" bot SetEnvIfNoCase User-Agent "^Foobot" bot SetEnvIfNoCase User-Agent "^flunky" bot SetEnvIfNoCase User-Agent "^FrontPage" bot SetEnvIfNoCase User-Agent "^Go-Ahead-Got-It" bot SetEnvIfNoCase User-Agent "^gotit" bot SetEnvIfNoCase User-Agent "^GrabNet" bot SetEnvIfNoCase User-Agent "^Grafula" bot SetEnvIfNoCase User-Agent "^Harvest" bot SetEnvIfNoCase User-Agent "^hloader" bot SetEnvIfNoCase User-Agent "^HMView" bot SetEnvIfNoCase User-Agent "^HTTrack" bot SetEnvIfNoCase User-Agent "^humanlinks" bot SetEnvIfNoCase User-Agent "^IlseBot" bot SetEnvIfNoCase User-Agent "^Image\ Stripper" bot SetEnvIfNoCase User-Agent "^Image\ Sucker" bot SetEnvIfNoCase User-Agent "Indy\ Library" bot SetEnvIfNoCase User-Agent "^InfoNavibot" bot SetEnvIfNoCase User-Agent "^InfoTekies" bot SetEnvIfNoCase User-Agent "^Intelliseek" bot SetEnvIfNoCase User-Agent "^InterGET" bot SetEnvIfNoCase User-Agent "^Internet\ Ninja" bot SetEnvIfNoCase User-Agent "^Iria" bot SetEnvIfNoCase User-Agent "^Jakarta" bot SetEnvIfNoCase User-Agent "^JennyBot" bot SetEnvIfNoCase User-Agent "^JetCar" bot SetEnvIfNoCase User-Agent "^JOC" bot SetEnvIfNoCase User-Agent "^JustView" bot SetEnvIfNoCase User-Agent "^Jyxobot" bot SetEnvIfNoCase User-Agent "^Kenjin.Spider" bot SetEnvIfNoCase User-Agent "^Keyword.Density" bot SetEnvIfNoCase User-Agent "^larbin" bot SetEnvIfNoCase User-Agent "^LexiBot" bot SetEnvIfNoCase User-Agent "^lftp" bot SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bot SetEnvIfNoCase User-Agent "^likse" bot SetEnvIfNoCase User-Agent "^LinkextractorPro" bot SetEnvIfNoCase User-Agent "^LinkScan/8.1a.Unix" bot SetEnvIfNoCase User-Agent "^LNSpiderguy" bot SetEnvIfNoCase User-Agent "^LinkWalker" bot SetEnvIfNoCase User-Agent "^lwp-trivial" bot SetEnvIfNoCase User-Agent "^LWP::Simple" bot SetEnvIfNoCase User-Agent "^Magnet" bot SetEnvIfNoCase User-Agent "^Mag-Net" bot SetEnvIfNoCase User-Agent "^MarkWatch" bot SetEnvIfNoCase User-Agent "^Mass\ Downloader" bot SetEnvIfNoCase User-Agent "^Mata.Hari" bot SetEnvIfNoCase User-Agent "^Memo" bot SetEnvIfNoCase User-Agent "^Microsoft.URL" bot SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bot SetEnvIfNoCase User-Agent "^MIDown\ tool" bot SetEnvIfNoCase User-Agent "^MIIxpc" bot SetEnvIfNoCase User-Agent "^Mirror" bot SetEnvIfNoCase User-Agent "^Missigua\ Locator" bot SetEnvIfNoCase User-Agent "^Mister\ PiX" bot SetEnvIfNoCase User-Agent "^moget" bot SetEnvIfNoCase User-Agent "^Mozilla/3.Mozilla/2.01" bot SetEnvIfNoCase User-Agent "^Mozilla.*NEWT" bot SetEnvIfNoCase User-Agent "^NAMEPROTECT" bot SetEnvIfNoCase User-Agent "^Navroad" bot SetEnvIfNoCase User-Agent "^NearSite" bot SetEnvIfNoCase User-Agent "^NetAnts" bot SetEnvIfNoCase User-Agent "^Netcraft" bot SetEnvIfNoCase User-Agent "^NetMechanic" bot SetEnvIfNoCase User-Agent "^NetSpider" bot SetEnvIfNoCase User-Agent "^Net\ Vampire" bot SetEnvIfNoCase User-Agent "^NetZIP" bot SetEnvIfNoCase User-Agent "^NextGenSearchBot" bot SetEnvIfNoCase User-Agent "^NG" bot SetEnvIfNoCase User-Agent "^NICErsPRO" bot SetEnvIfNoCase User-Agent "^niki-bot" bot SetEnvIfNoCase User-Agent "^NimbleCrawler" bot SetEnvIfNoCase User-Agent "^Ninja" bot SetEnvIfNoCase User-Agent "^NPbot" bot SetEnvIfNoCase User-Agent "^Octopus" bot SetEnvIfNoCase User-Agent "^Offline\ Explorer" bot SetEnvIfNoCase User-Agent "^Offline\ Navigator" bot SetEnvIfNoCase User-Agent "^Openfind" bot SetEnvIfNoCase User-Agent "^OutfoxBot" bot SetEnvIfNoCase User-Agent "^PageGrabber" bot SetEnvIfNoCase User-Agent "^Papa\ Foto" bot SetEnvIfNoCase User-Agent "^pavuk" bot SetEnvIfNoCase User-Agent "^pcBrowser" bot SetEnvIfNoCase User-Agent "^PHP\ version\ tracker" bot SetEnvIfNoCase User-Agent "^Pockey" bot SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bot SetEnvIfNoCase User-Agent "^ProWebWalker" bot SetEnvIfNoCase User-Agent "^psbot" bot SetEnvIfNoCase User-Agent "^Pump" bot SetEnvIfNoCase User-Agent "^QueryN.Metasearch" bot SetEnvIfNoCase User-Agent "^RealDownload" bot SetEnvIfNoCase User-Agent "Reaper" bot SetEnvIfNoCase User-Agent "Recorder" bot SetEnvIfNoCase User-Agent "^ReGet" bot SetEnvIfNoCase User-Agent "^RepoMonkey" bot SetEnvIfNoCase User-Agent "^RMA" bot SetEnvIfNoCase User-Agent "Siphon" bot SetEnvIfNoCase User-Agent "^SiteSnagger" bot SetEnvIfNoCase User-Agent "^SlySearch" bot SetEnvIfNoCase User-Agent "^SmartDownload" bot SetEnvIfNoCase User-Agent "^Snake" bot SetEnvIfNoCase User-Agent "^Snapbot" bot SetEnvIfNoCase User-Agent "^Snoopy" bot SetEnvIfNoCase User-Agent "^sogou" bot SetEnvIfNoCase User-Agent "^SpaceBison" bot SetEnvIfNoCase User-Agent "^SpankBot" bot SetEnvIfNoCase User-Agent "^spanner" bot SetEnvIfNoCase User-Agent "^Sqworm" bot SetEnvIfNoCase User-Agent "Stripper" bot SetEnvIfNoCase User-Agent "Sucker" bot SetEnvIfNoCase User-Agent "^SuperBot" bot SetEnvIfNoCase User-Agent "^SuperHTTP" bot SetEnvIfNoCase User-Agent "^Surfbot" bot SetEnvIfNoCase User-Agent "^suzuran" bot SetEnvIfNoCase User-Agent "^Szukacz/1.4" bot SetEnvIfNoCase User-Agent "^tAkeOut" bot SetEnvIfNoCase User-Agent "^Teleport" bot SetEnvIfNoCase User-Agent "^Telesoft" bot SetEnvIfNoCase User-Agent "^TurnitinBot/1.5" bot SetEnvIfNoCase User-Agent "^The.Intraformant" bot SetEnvIfNoCase User-Agent "^TheNomad" bot SetEnvIfNoCase User-Agent "^TightTwatBot" bot SetEnvIfNoCase User-Agent "^Titan" bot SetEnvIfNoCase User-Agent "^True_bot" bot SetEnvIfNoCase User-Agent "^turingos" bot SetEnvIfNoCase User-Agent "^TurnitinBot" bot SetEnvIfNoCase User-Agent "^URLy.Warning" bot SetEnvIfNoCase User-Agent "^Vacuum" bot SetEnvIfNoCase User-Agent "^VCI" bot SetEnvIfNoCase User-Agent "^VoidEYE" bot SetEnvIfNoCase User-Agent "^Web\ Image\ Collector" bot SetEnvIfNoCase User-Agent "^Web\ Sucker" bot SetEnvIfNoCase User-Agent "^WebAuto" bot SetEnvIfNoCase User-Agent "^WebBandit" bot SetEnvIfNoCase User-Agent "^Webclipping.com" bot SetEnvIfNoCase User-Agent "^WebCopier" bot SetEnvIfNoCase User-Agent "^WebEMailExtrac.*" bot SetEnvIfNoCase User-Agent "^WebEnhancer" bot SetEnvIfNoCase User-Agent "^WebFetch" bot SetEnvIfNoCase User-Agent "^WebGo\ IS" bot SetEnvIfNoCase User-Agent "^Web.Image.Collector" bot SetEnvIfNoCase User-Agent "^WebLeacher" bot SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bot SetEnvIfNoCase User-Agent "^WebReaper" bot SetEnvIfNoCase User-Agent "^WebSauger" bot SetEnvIfNoCase User-Agent "^Website\ eXtractor" bot SetEnvIfNoCase User-Agent "^Website\ Quester" bot SetEnvIfNoCase User-Agent "^Webster" bot SetEnvIfNoCase User-Agent "^WebStripper" bot SetEnvIfNoCase User-Agent "^WebWhacker" bot SetEnvIfNoCase User-Agent "^WebZIP" bot SetEnvIfNoCase User-Agent "Whacker" bot SetEnvIfNoCase User-Agent "^Widow" bot SetEnvIfNoCase User-Agent "^WISENutbot" bot SetEnvIfNoCase User-Agent "^WWWOFFLE" bot SetEnvIfNoCase User-Agent "^WWW-Collector-E" bot SetEnvIfNoCase User-Agent "^Xaldon" bot SetEnvIfNoCase User-Agent "^Xenu" bot SetEnvIfNoCase User-Agent "^Zeus" bot SetEnvIfNoCase User-Agent "ZmEu" bot SetEnvIfNoCase User-Agent "^Zyborg" bot SetEnvIfNoCase User-Agent "AhrefsBot" bot SetEnvIfNoCase User-Agent "HubSpot" bot SetEnvIfNoCase User-Agent "BLEXBot" bot SetEnvIfNoCase User-Agent "archive.org_bot" bot SetEnvIfNoCase User-Agent "bingbot" bot SetEnvIfNoCase User-Agent "^Wget" bot Deny from env=bot

Понятно, что можно использовать данный перечень в исходном виде, а можно оставить в списке только тех нежелательных ботов, которые действительно создавали в прошлом и создают высокую нагрузку на ваш сайт на данный момент.