Liquid AI выпустила компактные LFM2.5-Embedding и ColBERT: мультиязычный поиск на 11 языках в 350 млн параметров

На этой неделе Liquid AI выпустила две новые модели для поиска: LFM2.5-Embedding-350M и LFM2.5-ColBERT-350M. Обе имеют 350 млн параметров и стали первыми двунаправленными моделями семейства LFM. Они адаптированы из каузальной архитектуры LFM2.5-350M-Base (релиз марта 2026) в двунаправленный энкодер — за счёт замены маски внимания и некаузальных свёрток. Это даёт полный контекст слева и справа, что критично для поиска.

Разница между моделями в способе представления текста: Embedding сворачивает документ в один вектор (быстрее и дешевле по индексу), а ColBERT сохраняет вектор на каждый токен, что позволяет делать пословное сопоставление с более высокой точностью (но больший индекс). ColBERT также может реранжировать результаты без построения индекса. Максимальная длина контекста — 32 768 токенов, но документы тренированы на 512. Обе модели ориентированы на короткий контекст: каталоги товаров, базы знаний FAQ, документацию поддержки.

Обучение проходило в три этапа: крупномасштабное контрастивное предобучение на английском, многоязычная и кросс-язычная дистилляция с сильного учителя по 11 языкам (арабский, немецкий, английский, испанский, французский, итальянский, японский, корейский, норвежский, португальский, шведский) и финальная донастройка на hard-negative примерах. Результаты на бенчмарках NanoBEIR (multilingual retrieval) и MKQA-11 (cross-lingual QA): ColBERT показал лучшие средние (0,605 и 0,694), Embedding почти не отстаёт (0,577 и 0,691), обойдя Qwen3-Embedding-0.6B и другие модели своего класса.

Модели доступны на Hugging Face под лицензией LFM Open License v1.0. Liquid AI позиционирует их как drop-in замену для существующих RAG-систем — маленький размер позволяет запускать их практически на любом железе.