Собираем локальный RAG для закупок: Qdrant, LlamaIndex и Gradio без выхода в интернет

Владимир решил упростить себе жизнь и перестать рыться в многостраничных документах о закупках. Он собрал RAG-приложение, которое отвечает на вопросы по федеральным законам 44-ФЗ и 223-ФЗ, а также по локальному положению компании. Вся система работает полностью локально — никаких внешних API.

В качестве движка для индексации и поиска используется Qdrant, а за построение цепочек запросов отвечает LlamaIndex. Для взаимодействия с пользователем написан простой веб-интерфейс на Gradio и отдельное API. Статья содержит пошаговое описание сборки — от установки зависимостей до запуска.

Хотя решение заточенное под конкретную задачу, подход универсален: такой RAG можно адаптировать под любую внутреннюю документацию. Код и схема развёртывания — в статье на Хабре.