Конформные предсказания: как сделать ML-модель честной без допущений о данных

Конформные предсказания — это техника, которая превращает точечный прогноз модели в интервал (для регрессии) или набор классов (для классификации) с гарантией покрытия: например, «истинное значение попадёт в интервал с вероятностью 95%». Ключевое отличие от классических методов — никаких допущений о нормальности распределения или гомоскедастичности не требуется.

Метод работает как надстройка практически над любой ML-моделью: после обучения вы выделяете калибровочную выборку, строите на ней «оценки несоответствия» (nonconformity scores) и на их основе определяете границы для новых объектов. Для классификации это даёт предсказательный набор (prediction set), для регрессии — интервал с гарантированной частотой покрытия.

У метода есть и ограничения: маргинальная гарантия «в среднем» может не выполняться на отдельных подгруппах данных. При дрейфе распределения (concept drift) точность гарантий падает — для таких случаев существуют адаптивные варианты. Статья подробно разбирает технику для регрессии и классификации, включая сценарии с дрейфом.