Инструменты
Как не провалить ML-модель в проде: чек-лист от временного сплита до артефакта
Разрыв между офлайн-метриками и продакшеном — классическая проблема ML. Чаще всего он вызван не моделью, а ошибками в подготовке данных: неправильное разбиение выборки, доступные при обучении признаки, которых нет в момент предсказания, или забытый шаг в пайплайне. Статья на Habr предлагает практический подход к верификации.
В основе — временной сплит вместо случайного, сквозная настройка Pipeline (чтобы не «заглядывать» в будущее), калибровка порога решения под бизнес-задачу и подготовка готового артефакта для инференса. Это не про теорию, а про конкретные ошибки, которые убивают качество на проде.
Источник: habr.com