Семантический поиск без GPU и облаков: опыт внедрения в AI-ассистента

Разработчики AI-ассистента в «Первой Форме» поставили себе задачу: сделать семантический поиск промышленного уровня, который работает в изолированной сети на том же оборудовании, что и само приложение — без GPU, облаков и сторонних поисковых систем. Цель — чтобы система решала, какие данные показать языковой модели до того, как та начнёт отвечать пользователю.

В статье подробно разбираются альтернативы и принятые архитектурные решения. Отдельно авторы выделяют методику оценки: первые замеры качества ввели команду в заблуждение и направили в неверную сторону. Разбор этой ошибки — ключевая часть материала, полезная для всех, кто строит RAG-пайплайны.