Российская on-premise CV-модель «Ночной глаз» весит 4 МБ и обгоняет SOTA на одном CPU-ядре

Разработчики системы компьютерного зрения «Ночной глаз» существенно сжали и оптимизировали свою модель для работы on-premise. Если первоначальная версия занимала 28–30 МБ и требовала RDBox с загрузкой ядра 30–60%, то сейчас локальная поставка умещается в 4,2 МБ. Это позволило разместить модель во внутренней памяти процессора — после загрузки ей не нужно постоянно подтягивать параметры из оперативной памяти.

Производительность тоже впечатляет: на протестированных CPU обработка одного кадра на одном ядре занимает от 8,6 до 15,8 миллисекунд. Такие результаты превосходят текущий SOTA (state-of-the-art) для подобных on-premise решений.