Kimi K3 от Moonshot AI: 2,8 трлн параметров, 896 экспертов и гибридное внимание — архитектурный разбор

Moonshot AI опубликовала веса Kimi K3 — мультимодальной MoE-модели с 2,8 трлн параметров, из которых на каждом токене активируются 104 млрд. Модель показывает впечатляющие результаты в отдельных тестах программирования и работы с инструментами, обходя Claude Opus 4.8 и GPT-5.6 Sol, но в среднем, по признанию самой Moonshot, уступает Claude Fable 5 и GPT-5.6 Sol.

В техническом блоге описаны ключевые архитектурные решения: гибрид Kimi Delta Attention и глобального MLA, Attention Residuals, MoE на 896 экспертов, обучение длинных агентных траекторий и отдельная система кеширования. Все компоненты проектировались совместно для масштабирования до миллионов токенов контекста.

Пока опубликованные материалы подтверждают работоспособность подхода, но некоторые утверждения (например, о превосходстве в конкретных сценариях) требуют независимой верификации. Тем не менее, открытые веса K3 — значимый вклад в сообщество open-source LLM.