Почему ИИ-ассистенты игнорируют мелкие библиотеки: разбор 30 сайтов документации

Разработчик заметил, что ИИ-ассистенты кода стабильно игнорируют его проект, предлагая вместо него крупных конкурентов. Чтобы не спорить в комментариях, он выдвинул три гипотезы: блокировка ботам через robots.txt, отсутствие файла llms.txt и нечитаемость документации для краулеров. Затем написал скрипт и прогнал его по 30 сайтам документации популярных Python- и JS-библиотек.

Результаты оказались неожиданными: robots.txt не блокирует ИИ-ботов ни на одном из 30 доменов, llms.txt есть только у 11 проектов, но его почти никто не запрашивает. А вот пустая для краулера страница нашлась у трёх проектов — после проверки внутренних страниц остался один. Похоже, дело именно в том, как поисковые роботы видят контент, а не в технических запретах.

Автор приводит метод, код и таблицу с данными, а также сопоставляет результаты с чужими исследованиями. Это практический разбор для всех, кто хочет, чтобы его проект замечали ИИ-ассистенты, — с конкретными цифрами и выводами.