mAP50 = 0,99 за 22 минуты — красивая цифра, которая ничего не значит

Автор решил показать, как легко сегодня обучить детектор: взял YOLO11n, датасет medical-pills из документации Ultralytics, прогнал 60 эпох на ноутбучном Ryzen 7 — за 22 минуты получил mAP50 = 0,991 на валидации. Выглядит как успех, но это была ловушка.

Собственная утилита dataset-doctor нашла проблему: у каждого из 23 валидационных кадров есть почти точная копия в train. То есть модель не училась обобщать, а просто запоминала уже виденные таблетки. Метрика формально честная, но бесполезная: она не показывает, как детектор справится с новыми данными.

Чтобы ловить такие утечки, достаточно пары десятков строк на Python: сравнить изображения через dHash и разложить по корзинам. А чтобы не допускать — правильно делить данные, например, группируя по сюжетам или источникам, а не по отдельным кадрам.