Смена режима рынка — главный страх ML-моделей, который не ловится валидацией

Автор статьи на Habr разбирает проблему, которая страшнее переобучения, утечек данных и шума: рынок в моменте торговли может кардинально отличаться от того, на котором модель училась. Переобучение ловится честной валидацией, утечки — дисциплиной признаков, шум — ансамблями, но смена режима не обнаруживается ни одним из этих методов. Узнаёшь о ней только когда система уже теряет деньги.

В статье описан эксперимент по измерению этого риска заранее. Автор признаётся, что допустил ошибку, которая на время убедила его, что всё гораздо хуже, чем на самом деле. В итоге он выяснил, какие страховки действительно работают, а какие — лишь красивые идеи с отрицательной ценностью для портфеля.