Как починить RAG: советы инженера KTS по выводу ассистента в прод

Инженер Катя Пославская из KTS, специализирующаяся на RAG-системах и ИИ-агентах, объясняет, почему многие компании отказываются от вывода RAG-ассистента в прод после прототипирования. Вау-эффект разбивается о реальность корпоративной базы — большой, шумной и постоянно растущей, где редко бывает идеальный Confluence с актуальными и удалёнными статьями.

Пославская делится техниками «приручения» RAG, которые помогают минимизировать проблемы и успешно поддерживать решения в проде. Она разбирает тонкости настройки ассистента от чанков до генерации, а также лекарства от типичных поломок. Спойлер: галлюцинации LLM часто вызваны не моделью, а другими факторами.