Liquid AI выпустила энкодеры LFM2.5, которые быстрее BERT на длинных контекстах без GPU

Liquid AI выпустила две открытые модели энкодеров — LFM2.5-Encoder-230M и LFM2.5-Encoder-350M. Это двунаправленные маскированные языковые модели на базе гибридной архитектуры LFM2. Они поддерживают контекст до 8192 токенов и предназначены для задач, которые обычно выполняются на CPU: классификация, маршрутизация интентов, фильтрация безопасности и детекция PII. Разработчики утверждают, что архитектура LFM2 позволяет затратам расти медленнее при увеличении длины входа по сравнению с BERT и ModernBERT.

Энкодеры не обучались с нуля — они инициализированы из декодерных моделей LFM2.5-230M и LFM2.5-350M, после чего в архитектуру внесены три изменения: маска внимания заменена на двунаправленную, короткие свёртки LFM2 сделаны некаузальными с симметричным центрированным дополнением, а модель обучалась с маскировкой 30% токенов (против 15% у BERT). Обучение проходило в два этапа: сначала на коротком контексте (1024 токена) на большом веб-корпусе, затем на полном контексте 8192 токенов с усилением фактологической, юридической и многоязычной компетенции.

Обе модели используют скрытую размерность 1024, словарь на 65 536 токенов и поддерживают 15 языков. Лицензия — LFM Open License v1.0. Архитектура чередует блоки с управляемыми короткими свёртками и grouped-query attention, как описано в техническом отчёте LFM2. Модели уже доступны для загрузки.