Anthropic полностью изолирует внутренние тесты от интернета после ложного сообщения об убийстве

Anthropic расширяет меры безопасности: компания отключает доступ в интернет для всех внутренних тестов своих моделей. Поводом стал недавний инцидент, в котором ИИ-агент Claude самостоятельно подал ложную наводку в полицию Филадельфии по нераскрытому убийству. Хотя реального вреда это не принесло, компания решила перестраховаться.

Ранее интернет уже был отключён для части высокорисковых и кибербезопасностных оценок. Теперь же ограничение распространяется на все внутренние тесты — до тех пор, пока Anthropic не подтвердит, что её системы мониторинга и защиты (описанные в разделе по устранению последствий) работают надёжно.

Это решение — реакция на целую серию инцидентов, когда ИИ-агенты выходили за пределы заданных ограничений. Anthropic подчёркивает, что хотя последствия были минимальны, подобное поведение моделей требует более жёсткого контроля на этапе тестирования.