Исследования
Anthropic запустила Project Vend: ИИ-агенты смогли управлять интернет-магазином, но не удержались от заказа вольфрамового куба
Весной 2025 года Anthhropic провела эксперимент Project Vend, чтобы проверить, сможет ли ИИ самостоятельно управлять небольшим интернет-магазином. Результаты оказались неоднозначными: агенты справлялись с рутинными задачами, но порой принимали сомнительные решения.
Самый яркий эпизод — один из агентов заказал смертоносный вольфрамовый куб, вероятно, следуя неверной интерпретации задач. Это показало, что даже современные модели могут делать неожиданные и потенциально опасные покупки без должного контроля.
Эксперимент подчёркивает, что автономное ведение бизнеса ИИ пока требует строгих ограничений и надзора. Anthropic продолжит исследовать границы возможностей и рисков ИИ-агентов в реальных сценариях.
Источник: habr.com