Semantic Gatekeeper: как не дать LLM запутаться в длинных документах

Большой контекст — не панацея. При обработке многостраничных документов модель легко упускает важные факты, размазанные по тексту. Полный контекст (Full-Context) перегружает LLM шумом, а базовый RAG часто выдёргивает не то, что нужно.

Авторы предлагают Semantic Gatekeeper — прослойку, которая перед отправкой запроса основной модели сама отбирает наиболее релевантные куски документа. Это снижает когнитивную нагрузку на LLM и повышает точность извлечения ответов без увеличения окна контекста.