«Миллион контекста» — маркетинг: как open-source модели 2026 на самом деле читают историю

В карточках свежих open-source моделей гордо указывают «1 млн контекста», но на деле они читают историю выборочно. Например, GLM-5.3 на каждом шаге выбирает из истории только 2048 токенов, DeepSeek-V4-Pro использует 1024 сжатых блока, а Qwen3.8 и Kimi K3 вообще показывают полную историю лишь каждому четвёртому слою. Для агентов это оборачивается тем, что правило из AGENTS.md к сотому вызову инструмента тихо перестаёт работать.

Все свежие открытые модели делятся на три семейства: разрежённое top-k внимание (GLM-5.x, DeepSeek-V4, MiniMax M3), гибриды «3 линейных + 1 полный» (Qwen3.5—3.8, Kimi K3, GLM-5.3-Flash) и скользящее окно с глобальными слоями (Gemma 4). Гарантированно точно модель читает только последние сотни токенов — всё остальное должно пройти отбор по релевантности или выжить в сжатом виде.

Качество большинства моделей заметно проседает на дистанции 128–256 тысяч токенов. Причём Kimi K3 с компактизацией на 300 тыс. обгоняет саму себя с полным окном в миллион. Для обвязки важнее, куда положить текст, чем что в нём написать: лучше всего работают чистка старого вывода инструментов, поиск по запросу, постепенное раскрытие, вынос состояния за окно и повтор ключевых правил в конце.

А то, что нарушать нельзя, стоит закрывать хуками и правами доступа — полагаться на внимание модели тут рискованно. Автор собирал данные из config.json на Hugging Face, карточек и техотчётов, а выводы о том, что именно читает модель, делал самостоятельно по архитектуре.