Liquid AI открыла Pipette: бенчмарк для моделей на устройствах — более 1000 конфигураций

Liquid AI представила Pipette — открытую платформу для бенчмаркинга фундаментальных моделей на периферийных устройствах. Проект создан в партнёрстве с Artificial Analysis, который выступил независимым верификатором методологии. Идея в том, что поведение модели на устройстве нельзя оценивать изолированно: результат зависит от конкретной связки модели, квантования, рантайма и железа. Pipette измеряет именно такие конфигурации.

В стартовый датасет вошли пять метрик производительности для более чем 1000 конфигураций: 30+ моделей, разные форматы квантования, сборки llama.cpp под macOS, iOS, Windows и Android, а также длины контекста от 256 до 8192 токенов. Первые опубликованные результаты получены на MacBook Pro с M5 Max, iPhone 17 Pro и Galaxy S26 Ultra. В планах — AMD Ryzen AI Max+ 395 и Radeon 8060S.

Платформа уже показывает, насколько сильно конфигурация влияет на выводы. Например, две 350-миллионные модели в одинаковом квантовании на Galaxy S26 Ultra ведут себя по-разному при масштабировании контекста: одна сохраняет 78,4% пропускной способности декодинга на 4096 токенах, другая — только 33,8%. А модель с разреженной активацией на том же устройстве декодит в 2,4 раза быстрее, чем Qwen3.5-4B.

Pipette распространяется под лицензией Apache 2.0: доступны CLI-инструменты, клиенты, публичный датасет, веб-дашборд и нативные приложения для iOS и Android. Всё работает без списков ожидания. Инструмент подходит и соло-разработчикам, и командам из среднего бизнеса, и крупным OEM-производителям. Качество моделей дополнительно отслеживается на бенчмарках IFBench, GPQA Diamond и MATH-500 — но эти замеры пока выполняются на эталонных H100, а не на устройствах.