Метрика MAE улучшилась на 20% из-за «мёртвых» данных: почему это ловушка

При обучении модели в скрипте был список из 39 парковок, которые нужно исключить: у них замороженный ряд, и модель учится предсказывать константу. Сегодня таких парковок тоже 39, но совпадают из них только девять — остальные, видимо, поменялись.

Пока автор разбирался, выяснилось: эти 39 константных рядов улучшают публикуемую MAE на 16% и превращают наивную базу с отрицательным R² в базу с положительным. Парадокс в том, что на самих этих парковках модель работает хуже, чем если бы её не было вовсе — метрика вводит в заблуждение.

История — хороший пример того, как «мёртвые» данные могут искусственно завышать качество модели. Вывод: перед публикацией метрик стоит проверять, не скрываются ли за улучшением артефакты выборки.