Тесты и бенчмарки
Kimi K3 провалила кибербезопасность: 32% против 76% у лидеров — дистилляция под подозрением
Совместные тесты AI Security Institute (Великобритания) и U.S. Center for AI Standards and Innovation показали, что Kimi K3 от Moonshot AI значительно уступает фронтирным американским моделям в киберэксплойтах. На бенчмарке ExploitBench модель набрала лишь 32%, тогда как ведущие модели США — 76%. При этом встроенные механизмы безопасности не смогли предотвратить разработку эксплойтов или симулированные атаки.
Результат контрастирует с сильными показателями Kimi K3 на общих бенчмарках, что усиливает подозрения о дистилляции моделей Anthropic. Ранее эксперты отмечали, что такой скачок без дистилляции маловероятен. Новые данные косвенно подтверждают: кибервозможности модели слабы, хотя в других задачах она показывает себя на уровне лучших.
Источник: the-decoder.com