Nanbeige4.3-33B: открытая модель для агентного кодинга с рекордным контекстом в полмиллиона токенов

Китайская лаборатория Nanbeige LLM, действующая при рекрутинговой платформе BOSS Zhipin, выложила на Hugging Face модель Nanbeige4.3-33B под лицензией Apache 2.0. Это плотная (без MOE) 33-миллиардная модель, специализирующаяся на агентном кодинге и офисной коворк-помощи. Доступна и базовая версия Nanbeige4.3-33B-Base для дообучения под свои задачи. Архитектура — стандартная LlamaForCausalLM: 52 слоя, 56 голов запросов и 8 ключ-значение (Grouped Query Attention), скрытая размерность 7168, промежуточный слой 22 016, словарь на 166 912 токенов, RoPE theta 120 млн.

Ключевая особенность — контекстное окно в 524 288 токенов (512K). Для инференса разработчики рекомендуют SGLang и vLLM с 4-way тензорным параллелизмом; BF16 веса занимают примерно 66 ГБ. Есть как минимум одно сообщество-квантование. В чат-шаблоне предусмотрено три управляющих параметра: enable_thinking (мышление, включено по умолчанию), preserve_thinking (сохранять ход рассуждений из предыдущих витков — рекомендовано для многошаговых вызовов инструментов) и tools (передача инструментов в XML-формате).

Согласно собственному бенчмаркингу лаборатории, Nanbeige4.3-33B лидирует в 17 из 20 строк таблицы при сравнении с Qwen3.8-27B, Muse-Glimmer-30B и Gemma4-31B. Сильные результаты: Terminal-Bench 2.1 — 80.9 против 73.0 у Qwen; DeepSWE — 65.5 против 42.5; Automation Bench — 54.2 против 38.3; YC-bench — симулированный заработок $1 025 437 против $641 290. По задачам рассуждения: AIME 2026 — 95.2, AA-LCR — 84.0. Уступает Qwen на SWE-Bench Pro (60.3 против 61.7) и GDPval (84.8 против 86.4), а Gemma4-31B — на GPQA Diamond (89.5 против 91.3). Базовая версия обходит Gemma4-31B-Base по всем 8 задачам, включая MMLU-Pro (66.9 против 59.3) и GPQA (62.0 против 41.5).

Стратегия лаборатории — сначала создать сильную «учительскую» модель, а затем дистиллировать её агентные навыки в меньшие модели, начиная с Nanbeige4.3-3B.