Sakana AI научила ИИ улучшать себя методом MASS: 70% побед, но слепые зоны остаются

Sakana AI представила метод MASS (Multi-Agent Self-Improvement System), который позволяет одной языковой модели улучшать себя без внешнего контроля. Модель последовательно выполняет три роли: решает задачи, оценивает свои решения и корректирует workflow.

После двух циклов самоулучшения модель достигает win rate почти 70% против базовой версии. Это демонстрирует потенциал рекурсивного самообучения.

Однако есть ограничение: если модель допускает одну и ту же ошибку во всех трёх ролях, она принимает её за прогресс и закрепляет в обучении. Таким образом, слепые зоны остаются незамеченными.

Исследователи отмечают, что для преодоления этого нужны дополнительные механизмы верификации, выходящие за рамки одной модели.