Маракуйя ИИ прошла Terminal-Bench 4 и OSWorld 2: российская агентская обвязка показала топ-результаты

Автор, ранее гонявший Алису и Гигачат на текстовых тестах вроде Arena-Hard и WildBench, перешёл к более серьёзному экзамену: теперь ИИ-агенту дают настоящий компьютер и реальные задачи — починить пайплайн, разобраться с консолью сервера, собрать форму, закрыть визу или свести таблицу из почты и банка. На выходе ждут рабочий артефакт.

Terminal-Bench 4 и OSWorld 2 — это два теста, которые сейчас считаются обязательными для оценки агентских систем. И вот главная новость: агентская обвязка команды Маракуйи прошла эти испытания с очень высокими показателями, что особенно приятно на фоне веры автора в российских разработчиков.

Автор отмечает, что общается с несколькими командами, развивающими ИИ в России, и надеется на дальнейшее сотрудничество с разработчиками Гигачата и Алисы. Пока же результат Маракуйи — повод для гордости и предмет для отдельного разбора.