Kimi K3 на PAC1 и ECOM1: 204 бизнес-задачи и типовые отказы модели

27 июля Moonshot AI открыла веса Kimi K3 и опубликовала результаты на coding- и агентных бенчмарках. Команда решила проверить, как эти показатели переносятся на рабочие операции с файлами, счетами, корзинами, платежами, возвратами и отчётами. Kimi K3 прошла 204 задачи PAC1 и ECOM1, набрав 61/104 и 44,75/100 соответственно.

В статье разбираются публичные трассы успешных задач и повторяющиеся отказы: нарушение точной схемы, частично выполненные транзакции, ошибки в длинных таблицах, неоптимальные маршруты и пропущенные проверки доверия. Все запуски и трассы доступны для проверки.