99% трафика сайта — боты: год борьбы с ИИ-краулерами и 3,6 млн запросов в день

Разработчик сервиса PatronView поделился опытом годичной борьбы с ботами. Он иронично замечает: если вы хотите украсть его данные, начните с этой статьи, ведь в ней подробно описаны правила файрволла. По его словам, при написании кода с ИИ-агентами такому не научат, поэтому он решил систематизировать знания.

Цифры впечатляют: за один день сайт получил 3,6 миллиона запросов от китайских ботов. Cloudflare сообщает, что краулеры Anthropic выполняют примерно три тысячи операций на одного посетителя — у автора этот показатель составил 35 тысяч к одному. Два дня назад он заблокировал поискового ИИ-краулера Amazon, который считывал по 117 тысяч страниц в день, но не привёл ни одного реального пользователя.

CAPTCHA решается лишь в 0,24% случаев — боты даже не пытаются её обходить. В конце статьи перечислены все используемые правила файрволла, которые помогли сократить нагрузку.