StepFun открыла веса Step 5 Preview: 600 млрд параметров, 27 млрд активных, контекст 1 млн токенов

StepFun выпустила предварительную версию модели Step 5 с открытыми весами. Чекпоинты в форматах FP8 и BF16 уже доступны на Hugging Face и ModelScope. Step 5 Preview — это разреженная MoE-модель (Mixture-of-Experts) с 600 млрд параметров, из которых только 27 млрд активны на каждый токен, и контекстом до 1 млн токенов. Для работы требуются датацентровые GPU: FP8 — 4× B300 или 8× H200, BF16 — 8× B300 или 16× H200.

По производительности модель близка к открытым аналогам GLM-5.3 и Kimi K3 в задачах кодинга, но уступает GPT-6 Astra и Claude Opus 5. Лучший результат — 88,3% на тесте длинноконтекстного вывода AA-LCR (Artificial Analysis), худший — 33,3% на Terminal-Bench 4.0 (против 41,9% у GLM-5.3). На финансовом бенчмарке FrontierFinance модель показала 66,4%, опередив GLM-5.3 и Kimi K3, но отстав от Claude Opus 5 (69,7%). Слабые места — SRE Bench (0,4%) и Harvey’s Legal Agent Benchmark (9,2%).

Архитектура включает 92 трансформерных блока с чередованием gated sliding-window attention и full attention (3:1), разреженное GQA с выбором 4096 токенов истории на запрос и спекулятивное декодирование с головой MTP-3, дающее прирост скорости около 30%. Обучение велось в смешанной точности FP8 с RL на миллионных агентных средах. StepFun позиционирует модель для инженерии ПО, работы со знаниями и финансов, включая навигацию по большим кодовым базам, многофайловые изменения и анализ документов, графиков и видео.