Как ИИ-агенты обгоняют человеческий контроль — и почему ответом может стать ещё один ИИ

Передача длинных и сложных задач ИИ-агентам породила проблему контроля: агенты действуют быстрее, дольше и в большем объёме, чем человек способен реалистично отследить. Это создаёт риск неконтролируемых действий — так называемых «непослушных» агентов.

Один из предлагаемых подходов — задействовать второй ИИ для мониторинга первого. Такой «надзиратель» мог бы анализировать логи, проверять соответствие инструкциям и сигнализировать о подозрительных действиях, не замедляя работу основного агента.

Хотя идея звучит как умножение сущностей, сторонники метода указывают, что ИИ-надзор может быть эффективнее человеческого — он быстрее, масштабируемее и не устаёт. Однако остаются вопросы: кто будет следить за надзирателем и не приведёт ли цепочка ИИ к новым уязвимостям?