Как починить RAG за 50 центов: техника Contextual Retrieval возвращает чанкам утерянный контекст

Классические RAG-системы дробят документы на чанки, но при поиске каждый фрагмент теряет связь с общим контекстом — откуда он взят, о чём речь. Это ведёт к ошибкам, даже если embedding-модель сильная. Contextual Retrieval предлагает перед индексацией обогащать каждый чанк описанием его места в документе, используя LLM. Техника не требует сложной инфраструктуры и стоит ~50 центов за тысячу чанков при работе через Claude или аналоги.

Суть подхода: для каждого чанка генерируется короткий контекстный абзац, который затем добавляется к оригинальному тексту перед векторизацией. Так поиск находит не просто похожие слова, а семантически релевантные фрагменты с пониманием их роли. Это особенно полезно в корпоративных базах знаний, где длинные документы кишат отсылками и зависимостями между разделами.

Инструментарий доступен — можно реализовать через простой пайплайн с любой LLM. Главная фишка: дешевизна и отсутствие необходимости переобучать модель. Техника уже показала прирост точности поиска на тестовых датасетах и быстро набирает популярность в opensource-сообществе.