Hugging Face представила LFM3: фреймворк для сборки мультимодальных моделей под любые задачи

Hugging Face анонсировала LFM3 — новый подход к построению мультимодальных моделей. В отличие от монолитных решений, LFM3 предлагает модульную архитектуру: разработчик выбирает готовые энкодеры (текст, изображения, аудио, видео) и соединяет их через лёгкий адаптер, обучаемый на небольшом датасете.

Библиотека включает предобученные компоненты от ведущих лабораторий и инструменты для их тонкой настройки. LFM3 уже используют в раннем доступе: первые бенчмарки показывают, что собранные на нём модели достигают 90% качества специализированных решений при в 10 раз меньших затратах на обучение.

Главная цель LFM3 — демократизировать создание мультимодальных ИИ, сделав его доступным для небольших команд и компаний. Код и документация опубликованы на Hugging Face под лицензией Apache 2.0.