ИИ ломает веб-доверие: краулеры, AI-summary и как сайтам выжить

Клики из поиска уступают AI Summary: пользователи получают готовый ответ прямо в выдаче, и трафик на сайты падает. Раньше авторитет сайта измерялся позицией в Google — теперь нейросети пересортируют источники по-своему, и старые сигналы доверия (ссылки, рейтинги) теряют вес.

Роботы OpenAI, Google и Perplexity жадно краулят контент для RAG-пайплайнов, но часто обрезают страницы до 200 символов (как ChatGPT) или парсят Markdown-слой. Сайты пытаются защититься через robots.txt и llms.txt, но браузерные агенты и MCP-протоколы обходят ограничения, читая страницы как человек.

Решения назревают: C2PA (криптографические метки источников) и Verifiable Credentials (верифицируемые заявления) могут создать новый слой доверия, а knowledge graphs и ИИ-аудиторы — проверять цепочку от ИИ-ответа до исходного документа. Но пока сайты и модели существуют в «режиме холодной войны»: одни хотят трафика, другие — контента бесплатно.