ИИ быстрее людей учится предвзятости при найме: умные модели — худшие стереотипизаторы

Исследователи из Принстона и Чикагского университета адаптировали классический психологический эксперимент по формированию стереотипов для LLM. Моделям предложили выступить в роли консультанта мэра вымышленного города и отбирать кандидатов на 20 разных должностей — от врачей до уборщиков. Кандидаты принадлежали к четырём вымышленным этническим группам, и все были одинаково успешны на любой позиции, но модели об этом не знали.

Результат: LLM начали сегрегировать группы по профессиям уже после нескольких раундов, основываясь на случайных ранних успехах или неудачах. На шкале сегрегации (где 2 — полное разделение) люди набрали 0,84, а модели — в среднем на 65% больше. Особенно отличились «думающие» модели: o3 от OpenAI показал 1,83, почти максимум. Чем сильнее модель в логике и обобщении, тем быстрее она делает предвзятые выводы из ограниченных данных.

Память усугубляет проблему: если модель запоминает ранние решения, bias закрепляется. Но просто заставить её забывать нельзя — пользователи ждут персонализации. Интересно, что инструкция «будь справедлив» почти не повлияла на поведение, а вот обещание бонуса за разнообразие найма заметно снизило сегрегацию. Это значит, что ключ не в ценностях, а в том, как спроектирована целевая функция ИИ.