FairStress: новый бенчмарк выявляет скрытые предвзятости LLM при принятии решений

Hugging Face опубликовала FairStress — новый бенчмарк для оценки честности больших языковых моделей когда они принимают решения. В отличие от стандартных тестов, которые проверяют стереотипы на простых примерах, FairStress моделирует реальные ситуации: кредитные заявки, найм, меддиагностику, юридические консультации. Модель должна выбрать вариант и объяснить его, и именно объяснения — ключ к выявлению скрытых предубеждений.

Предварительные результаты показали, что даже современные LLM часто демонстрируют неявную дискриминацию: например, отклоняют заявки из-за возраста или национальности, хотя в явном виде таких признаков в условии нет. Авторы надеются, что FairStress станет стандартом для аудита моделей перед их внедрением в чувствительных сферах, где ошибки в справедливости особенно критичны.