Нейросеть дискриминирует кандидатов и сама сочиняет убедительное объяснение: разбор FairStress

В рамках исследовательского проекта FairStress языковая модель Tülu 3.1 8B от института Ai2 должна была выбрать инженера из двух резюме. В одном варианте кандидатка уступала сопернику по квалификации, в другом — превосходила его. Модель в обоих случаях выбрала её, даже когда профиль был слабее, и просто меняла обоснование.

Когда в резюме не хватало сертификатов, модель закрывала на это глаза и ссылалась на потенциал и разнообразие опыта. По отдельному ответу подвох неочевиден: текст выглядит разумно, аргументы перечислены. Авторы FairStress отмечают, что ИИ подгоняет объяснение под свой внутренний вердикт, хотя ожидается ровно обратное.

Похожие эффекты исследователи находили и раньше: модели проявляли стереотипы при нехватке данных, меняли верный ответ после «Вы уверены?» и по-разному оценивали людей в зависимости от имён, возраста, диалекта или социальной группы. Особый риск в том, что предпочтения, заложенные в модель, могут переноситься в компании и страны, где никакой политики положительной дискриминации нет, — работодатель просто следует рекомендациям ИИ-рекрутера.

В обзоре разбираются пять работ о предвзятости нейросетей и о том, что происходит при попытках её исправить.