AI2 представила Olmo-core 3 — открытую инфраструктуру для обучения больших MoE-моделей

Olmo-core 3 — это открытая инфраструктура от AI2, предназначенная для обучения крупных MoE-моделей. Она включает в себя инструменты для распределённого обучения, оптимизации памяти и управления вычислительными ресурсами, что позволяет исследователям и разработчикам масштабировать эксперименты без привязки к проприетарным решениям.

Проект уже доступен на Hugging Face, что упрощает его интеграцию в существующие пайплайны. AI2 подчёркивает, что Olmo-core 3 создавался с упором на воспроизводимость и прозрачность — все компоненты открыты, а конфигурации можно адаптировать под свои задачи. Это шаг к демократизации обучения больших моделей, которые раньше были доступны только крупным лабораториям.