Как превратить RAG в рабочую лошадку: кейс с нормативными документами и A/B-тестом

На Хабре вышла статья с детальным разбором создания production-RAG для корпоративных нормативных документов. Авторы прошли путь от базового пайплайна на n8n и Qdrant до гибридной архитектуры, объединяющей BM25, эмбеддинги, RRF и реранкинг. Отдельно проработали структурный chunking и обработку сложных таблиц — стандартная нарезка текста на нормативных документах работала плохо.

Для улучшения поиска использовали библиотеку Natasha, словари корпоративных терминов и мультимодальные модели. Качество измеряли через Arize Phoenix и LLM-as-a-Judge. В статье показаны реальные результаты A/B-теста с реранкером по 9 метрикам. Ключевой вывод: в production-RAG критичны не параметры LLM, а качество подготовки документов, retrieval и воспроизводимая оценка изменений.