56 тысяч размеченных сущностей не спасли: почему агенты проваливают простые задачи

Разработчики проанализировали сценарий, где агент должен был проверить клиента по номеру телефона. Детектор сущностей нашёл телефон, шлюз скрыл его для безопасности, агент вызвал CRM, но клиента не нашёл — проверка формально пройдена, но задача провалена. Проблема в том, что тысячи размеченных сущностей (56 000) не покрывают такие цепочки взаимодействия.

Авторы делятся результатами прогонов на открытых корпусах персональных данных. Ошибка возникает не из-за плохой разметки, а из-за несоответствия между тем, как модель обучена, и тем, как она применяется в реальном конвейере. Статья содержит детальный разбор поломки и рекомендации по построению более надёжных агентов.