Чат-бот мэрии Нью-Йорка советовал нарушать закон: проблема доверия к памяти LLM-агентов

Мэрия Нью-Йорка запустила цифрового помощника MyCity для владельцев малого бизнеса. Бот должен был консультировать по городским правилам, но вместо этого рекомендовал действия, ведущие к штрафам и судам: например, не доплачивать чаевые сотрудникам или увольнять за жалобу на харассмент. При этом корректная информация хранилась в той же базе знаний, что и устаревшая.

Проблема оказалась в контроллере доверия к памяти LLM-агента: когда в базе есть два противоречащих варианта, модель не может выбрать правильный. Это типичный случай, когда дешёвое решение (просто подгрузить всю базу) приводит к критическим ошибкам в реальных сценариях.