Cloudflare выпустила Clef-omni: мультимодальная decision-модель судит текст, видео и аудио за один вызов
Cloudflare выпустила Clef-omni — новую открытую модель семейства Clef для принятия решений. Параметров 30 млрд, из них активно 3 млрд (MoE), контекст — 64 000 токенов. Модель доступна на Workers AI как @cf/cloudflare/clef-omni, а для self-hosting хватает одного H200 с ~64 ГБ памяти в bfloat16. Релиз состоялся 9 октября 2026 года — через восемь дней после выхода оригинальной Clef и Clef-flash. Тогда же Cloudflare снизила цены на Clef-flash ниже, чем у Jev от TypeSafe, и ускорила хостинговую версию Clef примерно вдвое.
В отличие от текстовой Clef, Clef-omni понимает четыре модальности сразу. Она пост-обучена из Qwen3-Omni-30B-A3B-Instruct: Cloudflare сохранила основу для понимания, убрала синтез речи и добавила голову, которая оценивает варианты по схеме вопросов. Поддерживаются три типа вопросов: истина/ложь, выбор и оценка; формат совместим с API Jev и SystemOne от TypeSafe AI. Видеокадры и аудио синхронизируются в одну последовательность и обрабатываются за один проход. На вход можно подать до четырёх изображений (PNG/JPEG/WebP), четырёх аудиоклипов (WAV/MP3) по пять минут, двух видео (MP4/WebM) по минуте при 2 кадрах в секунду и до 64 вопросов на запрос. Текст модель обрабатывает в среднем за 130 мс, изображение — за 150 мс, а 21-секундное видео со звуком — примерно за 1,5 секунды.
На бенчмарках Clef-omni сильна в классификации намерений: 94,8 macro-F1 в BANKING77 и 97,7 в CLINC150+OOS — лучший результат среди Clef, Clef-flash и Jev. В Amazon ESCI она тоже первая с 57,8. Но на сложных рассуждениях модель заметно уступает: 47,4 на GPQA Diamond против 78,3 у Jev, 69,3 на задаче Home appliances против 97,73 у Clef-flash, а на workflow-эвалах TypeSafe проигрывает Clef по всем пяти метрикам.
Для разработчиков мультимодальных агентов это значит, что не нужны отдельные этапы транскрибации речи, распознавания изображений и субтитрирования видео — один вызов даёт готовое решение с вероятностями. Но если важна точность в сложных рассуждениях, текстовые decision-модели пока впереди.