Datalab выпустила OmniParseBench — открытый бенчмарк для OCR с 16 288 тестами да/нет

Datalab выпустила OmniParseBench — открытый бенчмарк для парсеров документов (OCR). Он включает 16 288 тестов в формате «да/нет», распределённых по 2937 страницам из 2343 документов на 92 языках. Код и данные доступны на GitHub, установка через uv pip install omni-parse-bench, оценка выполняется локально без API-ключей.

Разработчики объясняют, что существующие бенчмарки вроде olmOCR-bench и ParseBench от LlamaIndex имеют недостатки: первый насыщен и не различает реальное качество чтения, второй использует несовместимые метрики для разных способностей. OmniParseBench предлагает единую систему: итоговый балл — среднее трёх семейств (текст, таблицы, макет), а каждый тест можно отфильтровать по тегам (язык, структура, роль и т.д.). Это позволяет инженерам оценить, как парсер справится именно с их типом документов.

На стартовом лидерборде лучший результат у Gemini 3.8 Flash (92,9%), за ним следует Datalab accurate (92,7%). Разрыв между топ-3 системами — менее 1,3 процентного пункта. OmniParseBench не использует модель-судью: все проверки выполняются открытым кодом, что гарантирует прозрачность и воспроизводимость.