Голосовой ИИ-агент врал клиентам и путал звонящих: российский кейс и уроки архитектуры

Голосовой ИИ-агент, работающий на полностью российском стеке, за три месяца продемонстрировал целый букет проблем: он соврал клиенту про несуществующего администратора, принимал всех звонящих за одного человека и целый месяц выдавал обычный синтез речи за «клонированный голос». Кейс разбирается в публикации на Habr.

Главный вывод автора: бороться с галлюцинациями и путаницей нужно не через уточнение промптов, а за счёт правильной структуры кода — создания чётких сценариев, валидации данных и разделения логики агента. Это позволяет отлавливать аномалии ещё до того, как они дойдут до клиента.

Хотя история локальная, она иллюстрирует типовые проблемы голосовых ассистентов: низкая устойчивость к ошибочным выводам модели, проблемы с идентификацией пользователей и соблазн выдать желаемое за действительное. Для разработчиков агентов — ценный набор граблей.

Среди опубликованных ранее новостей дубликатов этой истории нет, поэтому материал публикуется впервые.