LFM2.5-Encoders: быстрый инференс длинных контекстов на CPU без GPU

Разработчики представили LFM2.5-Encoders — семейство энкодеров, заточенных под быстрый инференс длинных контекстов на CPU. Архитектура позволяет эффективно обрабатывать последовательности, которые раньше требовали GPU, экономя ресурсы и упрощая развёртывание на обычном железе.

Модели уже доступны на Hugging Face для скачивания и интеграции. Подробности о точности, скорости и поддерживаемых длинах контекстов пока не раскрыты, но сам факт появления таких энкодеров — шаг к демократизации работы с длинными текстами на локальных машинах.