2,8 трлн токенов для индийских языков: Hugging Face открыла конвейер генерации данных

Hugging Face представила подход к масштабированию предобучения языковых моделей для индийских языков. Согласно анонсу, обучение велось на 2,8 триллиона токенов, а ключевой элемент — открытый пайплайн генерации данных, который можно использовать для других языков с ограниченными ресурсами.

Индийские языки пока заметно уступают английскому по объёму доступных обучающих данных. Открытый конвейер позволяет генерировать синтетические данные и размечать их, чтобы закрыть этот пробел. Это важный шаг к созданию более качественных и доступных LLM для более чем миллиарда говорящих.

Проект опубликован на Hugging Face, так что исследователи и разработчики могут изучить пайплайн и воспроизвести подход для других регионов. Это пример того, как открытая инфраструктура помогает демократизировать ИИ за пределами нескольких мировых языков.