Разобрал llms.txt на 64 теста: валидатор работает, а боты туда почти не ходят

Файл llms.txt — предложение 2024 года: класть его в корень сайта, чтобы языковые модели читали чистую инструкцию вместо разбора HTML. Автор написал свой генератор и валидатор, проделал 64 теста для отладки и заодно посмотрел лог запросов ботов.

Результаты оказались неутешительными: ИИ-боты почти не обращаются к llms.txt, несмотря на всю идею. При этом сам валидатор оказался полезным — он помогает проверить, корректен ли файл и действительно ли его смогут прочитать модели.

В статье — устройство парсинга, схема оценки и код решения. Подробно разобраны типичные ошибки в llms.txt и способ их автоматической проверки.