MIT и IBM выпустили ChartNet — датасет, который научит ИИ читать графики

Современные VLM (Vision-Language Models) неплохо справляются с распознаванием объектов на фото, но пасуют перед графиками — столбчатыми диаграммами, линейными графиками и круговыми. Проблема в том, что для обучения таким задачам не хватает качественных и разнообразных размеченных данных.

ChartNet — это новый набор данных от MIT и IBM Research, созданный специально для обучения и тестирования моделей на задачах интерпретации графиков. Он включает множество типов визуализаций, аннотированных с учётом реальных сценариев использования: от извлечения числовых значений до логических выводов по трендам.

Разработчики утверждают, что ChartNet покрывает основные недостатки существующих датасетов — масштаб, разнообразие и глубину разметки. Если модель научится работать с ним, она сможет не просто «смотреть» на график, а понимать его содержание так же, как человек.