Асинхронное ротационное сжатие контекста: как не дать локальному ИИ-агенту забыть вашу шутку

Знакомая ситуация: вы увлечённо общаетесь с локальным ИИ-агентом, как вдруг он замолкает на несколько десятков секунд. Затем модель судорожно перечитывает документацию и с горем пополам продолжает беседу, но уже не помнит свежую шутку. Всё это — следствие несовершенного сжатия контекста.

Асинхронное ротационное сжатие — подход, который пытается решить эту проблему. Идея в том, чтобы обрабатывать и ужимать контекст без длительных блокировок диалога, сохраняя важные детали и не теряя нить разговора. Насколько это работает на практике и какие подводные камни остались, разбирает автор статьи на Habr.