Ипотечный кризис 2008: ИИ-модель ошиблась в деньгах на $385 млн — метрики качества это скрывали

Исследователь протестировал модель кредитного риска на 26,5 млн реальных ипотечных записей. Модель, обученная на данных до 2009 года, показала отличный ROC-AUC (0,89), но её прогноз ожидаемых потерь ($161 млн) оказался в 3,4 раза ниже реальных ($546 млн). Разница — $385 млн.

Ключевой вывод: метрики вроде ROC-AUC могут маскировать катастрофическую ошибку в деньгах. Автор утверждает, что проблему можно было увидеть уже в 2007 году, за год до обвала ROC-AUC, если оценивать ошибку модели, взвешивая её реальными финансовыми потерями. Код и инструкции выложены в открытый доступ.