Почему простого RAG не хватает для юридических документов: разбор на реальных кейсах

Первый вариант системы выглядел стандартно: документы режутся на фрагменты, для них считаются эмбеддинги, пользователь задаёт вопрос — и несколько подходящих кусков вместе с запросом уходят в LLM. На первых тестах этого хватало: модель выдавала осмысленные ответы.

Проблемы начались, когда вопросы стали выглядеть почти одинаково, но по сути были разными. «Какая пеня установлена в договоре № 14/24?» и «Кто из арендаторов не заплатил за май?» — формально оба про аренду, но для системы это четыре разные задачи. А если контрагент предлагает заменить пеню 0,05% на 0,01% — тут вообще нужен не просто поиск, а анализ существенности изменения.

Автор рассказывает, как дорабатывал архитектуру: добавлял классификацию типов вопросов, отдельные пайплайны для извлечения чисел и сравнения условий, а также проверку фактов по исходным документам. Одна LLM без дополнительных слоёв логики тут не справляется — нужен гибридный подход.