Liquid AI представила RIPL: инференс-движок, который отвечает быстрее 50 мс — до 28 раз быстрее vLLM

Liquid AI анонсировала Liquid RIPL (Real-time Inference Pipeline) — движок для инференса моделей Liquid Foundation Models (LFM2.5) в реальном времени. Он возвращает полный сгенерированный ответ end-to-end менее чем за 50 мс и сохраняет задержку даже при пиковой нагрузке. Идея в том, чтобы разработчики могли заменить градиентный бустинг на генеративную модель, не выходя за рамки привычного бюджета по времени ответа.

Движок поддерживает модели от 230M до 2,6B параметров и работает на enterprise-железе NVIDIA: H100, H200, B200 и RTX PRO 6000. В своих тестах Liquid AI сравнила LFM2.5 с Qwen3.5 на vLLM, используя одну B200 и пуассоновский поток запросов. Лучший результат — LFM2.5-1.2B показал p95 155,8 мс против 4431 мс у Qwen3.5-0.8B на нагрузке 256 токенов на вход и 128 на выход: разрыв 28,4 раза. Худший — LFM2.5-2.6B получил лишь 5,6-кратное преимущество (449,1 мс против 2499 мс). На коротких запросах 32×32 при 1000 req/s LFM2.5-1.2B укладывается в 34,6 мс против 498 мс у конкурента.

Liquid AI отмечает, что основной выигрыш даёт сам движок, а не только архитектура модели: на одинаковой модели LFM2.5-350M p95 на RIPL заметно ниже, чем на vLLM. Среди целевых сценариев — переписывание запросов для рекламы (бюджет 50 мс), классификация интентов поиска (20 мс), реранкинг (30 мс), скоринг платежных рисков (50 мс), кредитные решения (150 мс) и генерация alt-текста для изображений (100 мс).

Архитектура LFM2.5 гибридная: у LFM2.5-1.2B-Instruct 16 слоёв — 10 свёрточных блоков с двойным гейтингом и 6 блоков GQA; у LFM2.5-2.6B — 30 слоёв, из которых 22 свёрточных и 8 GQA. Важная оговорка: все цифры — собственные замеры Liquid AI, и на более длинных запросах заветные 50 мс уже не достигаются.