Sakana AI научила ИИ-рецензентов ловить 73% ошибок в ключевых утверждениях научных статей

Большинство ИИ-рецензентов оценивают по тому, насколько точно они копируют стиль человека. Sakana AI поставила более сложный вопрос: может ли ИИ найти специально посаженную ошибку в статье? Ответ — в исследовании Beyond Imitation, опубликованном в TMLR. Работа включает два компонента: набор данных Contradiction Benchmark и саму систему MLR.

MLR — это агентная система на готовых моделях Claude (Haiku 3.5 и Sonnet 4). Три агента работают в связке: один анализирует приложения и детали эксперимента, второй через веб-поиск связывает статью с прошлыми работами, третий проводит трёхуровневый анализ по методике Кешава. Система читает до 10 страниц основного текста, работает без GPU и дообучения — просто через API. Стоимость одной рецензии — около $0,47.

На бенчмарке, где в 257 статей с конференций ACL, AISTATS, CVPR, ICML и NeurIPS встроили 1164 противоречия, MLR поймал 73,43% ошибок в ключевых утверждениях при четырёх рецензиях. Для сравнения: лучший базовый метод AgentReview обнаружил лишь 14,81%. Одиночная рецензия MLR даёт 60,79%. На реальных отозванных статьях точность ниже: 16,11% точных совпадений против 9% у сильнейших базовых подходов. Пока система уязвима к скрытым prompt-инъекциям, но общий замысел показателен: сначала прочитать, потом судить — работает.