120 вымышленных ссылок против 8: как агентный поиск побеждает галлюцинации LLM на строительных нормах

Разработчики сервиса для работы с нормативной документацией в ответ на скепсис экспертов провели контрольный эксперимент: 3000 слепых оценок ответов LLM на вопросы по строительным нормам и правилам. Без агентного контура модели выдавали до 120 вымышленных ссылок, не подтверждённых реальными документами. С доменным агентным поисковым контуром, работающим поверх той же генеративной модели, количество неподтверждённых ссылок упало до 8.

Важный нюанс: авторы признают, что чуть не опубликовали красиво выглядящий, но ложный вывод из-за методической ошибки на ранних этапах эксперимента. Они настаивают, что не сравнивают свою систему со всеми LLM вообще, а показывают эффект агентного контура на одном и том же генераторе. Для нишевых задач с требованием верификации ответов — например, при работе с нормативными документами — такой подход кардинально снижает галлюцинации.

Материал содержит разбор методики, детали эксперимента и выводы, полезные для всех, кто строит доменные ИИ-решения с акцентом на достоверность.