Точно определить кто из этих 33% люди, а кто продвинутые боты, невозможно, но по характеру обращений сделан вывод, что общая доля легитимных запросов примерно 2%, а остальные 98% приходятся на скрапперы. Одним из признаков ботов рассматриваются прямые запросы старых коммитов в случайных старых ветках, которые маловероятно, что могут понадобиться людям в работе. Активность ботов создаёт огромную паразитную нагрузку на серверы так как вместо того, чтобы один раз загрузить весь код и историю коммитов через операцию «git clone» боты отправляют миллиарды запросов, перебирая все варианты обращения через web-интерфейс и многократно запрашивая одни и те же данные с разными параметрами.
Блокировка ботов по IP-адресам и автономным системам достаточно быстро перестала работать, так как боты перешли на отправку запросов с миллионов случайных IP-адресов из домашних или мобильных сетей, полученных в результате активности ботнетов или монетизации браузерных дополнений. С каждого адреса отправляется лишь 4-5 запросов, поэтому блокировать их на уровне межсетевого экрана бесполезно.
Какое-то время блокировать боты помогала система Anubis, но со временем боты адаптировали для выполнения предлагаемых в Anubis вычислений. Среди прочего боты научились решать задачу 5 уровня сложности, а дальше повышать уровень проблематично, так как даже пятый уровень требует нескольких секунд вычислений и сильно раздражает легитимных пользователей.
В итоге, на обслуживание запросов скрапперов в инфраструктуре kernel.org приходится тратить больше ресурсов, чем на все остальные виды легитимных операций, включая «git clone». На 5 серверах, обслуживающих git.kernel.org, в любой момент времени 14-16 из имеющихся 90 ядер CPU постоянно заняты отображением git-коммитов для ботов. Для того чтобы снизить нагрузку администраторы теперь пытаются урезать возможности сервиса, отключить некоторые ресурсоёмкие операции, ограничить анонимный доступ и сократить число доступных для навигации ссылок.
Источник: http://www.opennet.ru/opennews/art.shtml?num=66171