Baidu открыла Unlimited OCR 2: 3B-модель читает документы на сотни страниц одним запросом

Baidu выпустила Unlimited OCR 2 — открытую модель для распознавания текста в длинных документах. Модель с 3,34 млрд параметров принимает на вход сотни страниц книг, отчётов и юридических бумаг и выдаёт структурированный результат: текст, таблицы, формулы, заголовки и порядок чтения. Работает на одном GPU — тесты шли на NVIDIA A800-80GB, веса в BF16 занимают около 6,7 ГБ.

Ключевая инновация — механизм SR-SWA (Sparse Reference Sliding Window Attention). Полное внимание растёт квадратично с длиной последовательности, поэтому Baidu сжимает визуально-текстовое внимание в фиксированный набор опорных токенов: локальное окно 128 токенов плюс top-16 блоков по 32 токена. Это удерживает задержку и память почти постоянными при любом объёме документа, хотя кодирование изображений и общее время растут.

На своих тестах модель заняла первое место на двух мультистраничных бенчмарках среди десяти моделей: в MarathonDocBench Unlimited OCR 2 получила 77,1 балла, тогда как Kimi-K3 — лишь 33,7. Слабое место — иерархия заголовков (TEDS): 48,2. Архитектура продолжает линию DeepSeek-OCR: энкодеры SAM ViT-B и CLIP-L, MoE-декодер с 64 экспертами (6 активных + 2 общих), каждая страница занимает 273 токена изображения. Код и веса опубликованы на GitHub под лицензией MIT.