Средняя accuracy обманчива: почему ML-модель нужно проверять на срезах данных

Общие метрики вроде accuracy могут расти, а ручная проверка — сокращаться, но это не значит, что модель готова к релизу. За улучшением средних показателей часто скрывается серьёзная просадка на редких, но критически важных сегментах данных. Например, классификатор объявлений может отлично работать на популярных категориях, но проваливаться на нишевых.

Чтобы этого избежать, нужно проверять модель на срезах — подмножествах данных по разным признакам: категория товара, регион, время суток и т.д. Для каждого среза считаются свои метрики, и если на каком-то из них качество резко падает, это сигнал к доработке. Такой подход позволяет увидеть реальную картину, а не среднюю температуру по больнице.

Статья на Хабре подробно разбирает методологию: как строить срезы, какие метрики использовать и как определить критерии готовности модели к релизу. Это практическое руководство для ML-инженеров, которые хотят избежать сюрпризов в продакшене.