Промпт, RAG или QLoRA: что реально учит LLM вашей предметной области

Локальная Large Language Model может уверенно отвечать на общие вопросы, но столь же уверенно ошибаться в специфике вашего домена. Чтобы исправить это, разработчики используют три основных подхода: промпт с контекстом, Retrieval-Augmented Generation (RAG) и дообучение. В статье на Habr провели прямое сравнение этих методов на одной задаче — замерили точность на 30 вопросах и разобрали, где каждый подход оправдан, а где порождает новый класс проблем.

Для дообучения выбрали метод QLoRA — он позволяет адаптировать модель с минимальными вычислительными затратами. Результаты показали, что у каждого подхода своя зона эффективности: промпт с контекстом прост, но нестабилен; RAG хорошо масштабируется, но требует качественной базы знаний; QLoRA даёт наиболее глубокое усвоение, но может переобучаться на узкие паттерны. Статья поможет разработчикам выбрать стратегию под конкретную задачу.