OpenAI представила MentalHealthBench — экспертный бенчмарк для психиатрических диалогов ИИ

OpenAI анонсировала новый бенчмарк MentalHealthBench. Он разработан при участии профессиональных психологов и психиатров и оценивает, насколько корректно и безопасно языковые модели реагируют в диалогах о психическом здоровье — от тревожности до суицидальных мыслей.

В отличие от общих тестов на безопасность, MentalHealthBench построен на реальных сценариях консультаций, чтобы понять, способен ли ИИ дать полезный совет, не переходя в опасные зоны. Бенчмарк уже доступен на GitHub и может использоваться как для внутреннего тестирования, так и для публичного сравнения моделей.