Хешируйте состав выборки, а не правило: почему метрики «плывут» без отпечатка данных

Рядом с метрикой принято хранить версию модели и версию данных, но этого мало. Правило отбора объектов в оценку расходится двумя способами: список идентификаторов устаревает, а условие с порогом даёт разный ответ в разные дни без всяких правок. В результате метрика становится невоспроизводимой.

Автор приводит пример: список из 39 исключений за год совпал с реальностью только на девять позиций, а состав выборки сменился сам собой за одни сутки. Решение — хешировать фактический состав выборки, а не текст правила. Такой отпечаток позволяет однозначно привязать метрику к конкретному набору объектов.

В статье разбирается, что именно записывать рядом с метрикой, почему хешировать надо именно фактический состав, а не правило, и чего такой подход не решает. Материал будет полезен всем, кто занимается A/B-тестами, офлайн-оценкой моделей и MLOps.