Tencent Hy4 Preview: 770B параметров, 1M контекст и два режима рассуждения

Китайская Tencent представила Hy4 Preview — новую open-weight модель для работы с текстом (без vision). Модель насчитывает 770B параметров, из которых активны 49B, а окно контекста достигает 1M токенов. Размер на Hugging Face — 1.56 ТБ. Это значительный скачок по сравнению с Hy3 (июль 2024): у той было 295B параметров, 21B активных, контекст 256K и размер 598 ГБ.

Из шаблона чата (chat_template.jinja) видно, что модель поддерживает два уровня рассуждения: high (по умолчанию) и no_think (рассуждение отключено). Никаких промежуточных уровней не предусмотрено. Это намекает на встроенный механизм цепочки мыслей (reasoning), который можно включать и выключать.

Автор Simon Willison протестировал модель через OpenRouter с запросом «Сгенерируй SVG пеликана на велосипеде» при уровне reasoning high. В выводе он заметил, что reasoning trace использует усечённый английский — вероятно, для экономии токенов, так как идеальная грамматика не нужна для скрытого рассуждения. Модель размышляла, стоит ли добавить шлем или солнечные очки, и в итоге решила не добавлять.