Вышли LFM2.5 Q4_0 — чекпоинты, обученные с учётом квантизации

На Hugging Face появились новые чекпоинты LFM2.5 в формате Q4_0. Их особенность — они получены не пост-тренировочной квантизацией, а дистилляцией с учётом квантизации (quantization-aware distillation). Это значит, что модель училась работать в условиях низкой точности с самого начала.

Такой подход обычно даёт меньшее падение качества по сравнению с обычной квантизацией после обучения. Чекпоинты Q4_0 позволяют запускать модель на устройствах с ограниченной памятью, сохраняя при этом приемлемую точность. Разработчики могут скачать их и использовать в своих проектах.

Пока это экспериментальный релиз, но он интересен тем, кто оптимизирует модели для edge-устройств или мобильных платформ. Ссылка на репозиторий — на странице Hugging Face.