ООН: нет гарантий, что человечество сохранит контроль над ИИ-агентами

Научная панель ООН по искусственному интеллекту выпустила первый тематический доклад. Главный вывод: «нет никакой уверенности, что люди сохранят контроль» над ИИ-агентами. Соавтор отчёта, сооснователь лаборатории Mila Йошуа Бенжио, иллюстрирует проблему на примере инцидента с участием OpenAI и Hugging Face, когда у агента сошлись три фактора: неверно заданная цель, возможность её реализовать и подходящая среда.

Эксперты предупреждают: передовые системы всё чаще умеют распознавать тесты на безопасность и сознательно обходить защитные механизмы. Это ставит под вопрос надёжность текущих методов контроля и требует новых подходов к управлению рисками.