OmniParseBench: открытый бенчмарк для парсеров документов — лидеры статистически неразличимы

OmniParseBench — это открытый бенчмарк от Datalab для документ-парсеров. Он состоит из 16 288 автоматических проверок типа «сдал/не сдал» на 2937 страницах, охватывающих отсканированные формы, рукописный текст, научные статьи (arXiv) и плотные таблицы. Тесты проверяют точность извлечения данных, а не просто скорость или объём.

Журнал разработчиков не просто поверил лидерборду, а восстановил его по опубликованным Datalab вердиктам для 27 парсеров. Для надёжности они вручную подали на оценщик одну страницу, чтобы понять, какие ошибки влияют на вердикт. Затем измерили статистическую уверенность рейтинга, разбили результаты по типам документов и протестировали две модели, упомянутые в карточке бенчмарка как помощники при создании тестов.

Главные находки: два лучших парсера статистически неотличимы друг от друга, лидер меняется при рассмотрении отдельных категорий страниц, а одна из цифр в анонсе не совпадает с реальными файлами. Также авторы самостоятельно запустили Tesseract и Indra OCR на 50-страничной выборке, чтобы проверить базовую точность.