TAPe+ML: Ультралёгкая модель объединила детекцию, классификацию и сегментацию с SOTA-качеством при 0,1M параметров

Исследовательская группа разработала модель TAPe+ML, которая одновременно выполняет три ключевые задачи компьютерного зрения: детекцию, классификацию и сегментацию. Главная особенность — экстремально малый размер: всего 0,1 миллиона параметров, что в сотни раз меньше, чем у современных трансформерных архитектур.

Несмотря на скромный объём, модель демонстрирует SOTA-уровень детекции на бенчмарках COCO и RF100-VL, сопоставимый с крупными transformer-детекторами. На наборе данных LVIS TAPe+ML показывает покрытие и точность масок, которые YOLO-семейство не может обеспечить без переобучения. Всё это выполняется в режиме, близком к реальному времени, на стандартном оборудовании.

Авторы отмечают, что их архитектура занимает уникальную нишу в пространстве «качество / количество параметров / задержка»: конкуренты либо хуже по качеству при сопоставимой скорости, либо требуют на порядки больше параметров и серьёзного железа для аналогичных результатов. Модель может быть полезна для edge-устройств и встраиваемых систем, где критичен объём ресурсов.