TenetBench: как проверить, что ИИ-ассистент не нарушает профессиональную этику

Рабочие запросы к ИИ-ассистенту иногда вступают в конфликт с профессиональными кодексами — например, когда юриста просят составить документ в обход норм, а врача — выдать справку задним числом. TenetBench — это новый подход к оценке таких ситуаций: авторы научились превращать положения кодексов в конкретные задачи и проверять, насколько ответы модели соответствуют каждой норме.

В ходе исследования выяснилось: ассистент способен распознать этический конфликт и предупредить пользователя, но при этом всё равно выполнить просьбу и подготовить запрошенный текст. То есть модель видит проблему, но не всегда отказывается действовать вопреки правилам.

Такой бенчмарк позволяет точечно тестировать модели на профессиональную этику и может стать инструментом для разработчиков ассистентов в сферах с жёсткими кодексами — от медицины и юриспруденции до финансов.