Старые метрики врут: Xiaomi предложила PROVE — честный способ оценить удаление объектов на видео

Удаление объектов с видео — задача, где нет единственного правильного ответа: алгоритм может одинаково правдоподобно дорисовать фон, тень или отражение. Однако PSNR, SSIM и LPIPS предполагают, что есть точное соответствие пикселей, поэтому они часто наказывают хорошие модели и поощряют подмену кадра без изменений. Ещё хуже: сокращение шагов диффузии улучшает PSNR, но визуально качество падает. Метрики ReMOVE и CFD тоже не спасают — они не замечают размытие и даже принимают корректное восстановление за галлюцинацию.

Xiaomi закрывает этот пробел с помощью PROVE (Perceptual RemOval cohErence), принятой на ACM MM 2026. В набор входят две метрики: RC-S (пространственная согласованность) и RC-T (временная согласованность). Обе работают без эталонного видео — они сравнивают распределение признаков DINOv2 в области удаления и фона локально, через скользящее окно и Maximum Mean Discrepancy. Для временной согласованности анализируется только пересечение масок на соседних кадрах.

Вместе с метриками выложен PROVE-Bench — двухуровневый бенчмарк на реальных видео. Для запуска нужен Python 3.10+, PyTorch 2.6+, Transformers 4.51+ и веса DINOv2-giant. Код опубликован под Apache 2.0 на GitHub, точка входа — run_prove_metrics.py. RC-S обрабатывает кадр за 134.6 мс на одной RTX 4090, что позволяет встроить проверку в ночной CI. Маски обязательны: белые пиксели отмечают удаляемый объект.

Метрики пригодятся разработчикам камер, видео-редакторов, рекламных платформ и сервисов по удалению фона. Главное преимущество: не нужны парные данные (с исходным объектом и без). В документации описаны три известных режима отказа — например, когда тень или отражение выходят за границы обрезанной области. Для реального времени на устройстве метрики не подходят.