Когда нейросеть должна сказать «не знаю»: три способа проверить границы RAG

При использовании RAG ключевая проблема — модель может выдать уверенный ответ, даже если в найденных документах нет нужных сведений. Просто найти документы на тему недостаточно: они должны содержать факты, из которых можно логически вывести ответ. Иначе модель начинает «галлюцинировать».

Автор рассматривает три метода, которые помогают определить, стоит ли модели отвечать или лучше сказать «я не знаю». Первый — внешний оценщик контекста, который проверяет, достаточно ли информации в документах. Второй — анализ внутренних активаций модели, чтобы понять, насколько она «уверена» в ответе. Третий — испытания на противоречивых свидетельствах, когда в контекст намеренно добавляют конфликтующие данные и смотрят, как модель с этим справляется.

Эти подходы помогают строить более надёжные RAG-системы, которые не выдают ложных ответов, а честно признают свою некомпетентность. Материал будет полезен разработчикам, работающим с языковыми моделями в задачах вопросно-ответных систем.