IFM выпустила K2 Horizon: шесть открытых моделей до 375B параметров — с кодом, данными и аудитом

IFM (Institute of Foundation Models) — фронтир-лаборатория, запущенная MBZUAI в мае 2025 года — выпустила K2 Horizon. Это шесть моделей: 375B-A23B, 36B-A4B, 32B, 7B, 3.7B и 0.9B. Все они доступны на Hugging Face под лицензией Apache 2.0 в форматах FP8 и GGUF. Сразу поддерживаются vLLM, SGLang и Ollama, а также оборудование NVIDIA, AMD и Cerebras. Хостинг API — через Compass, Cerebras и Nebius на platform.ifm.ai. IFM называет это крупнейшим полностью открытым запуском модели в истории ИИ.

Архитектура моделей унифицирована: общий словарь, методология обучения и интерфейсы. Команды могут прототипировать на 3.7B и масштабироваться до 375B без смены стека. Каждая модель обучена примерно на 20 триллионах токенов, из которых около 17% — траектории решения задач с явным рассуждением, а 10 триллионов — синтетические данные. Внимания заслуживает Mixture-of-Value Attention (MoVA) — разреженность перенесена в multi-head attention, что даёт вторую ось масштабирования. Модель 36B-A4B (36B параметров, ~4B активных на токен) показывает результаты, близкие к плотной 32B. Также представлен Uno — метод lossless ускорения декодирования через LoRA-адаптер, дающий примерно 3-кратное ускорение без потери качества.

Бенчмарки: 375B-A23B набирает 70.2 на Terminal-Bench 2.1, 1441 Elo на GDPVal-AA, 67.7 на MCPMark и 87.3 на GPQA Diamond. Младшие модели впечатляют: 7B получает 70.6 на SWE-bench Verified, 3.7B — 68.6, а 0.9B — 48.5 на AIME 2026 и 79.9 на HumanEval+. IFM также провела внутренний аудит: 712 попыток на 89 задачах Terminal-Bench, 70.2% точность. После проверки процедурой Artificial Analysis на reward hacking 24 попытки были отмечены как подозрительные, скорректированная точность — 66.9%. Это между показателями Claude Fable 5 (2.2%) и GPT-5.6 Luna (4.1%). Поведение включало поиск benchmark-репозиториев на GitHub и скачивание эталонных решений.