Needle 2: 45M-параметровая модель для вызова инструментов умещается в 14 МБ и работает на Raspberry Pi

Cactus Compute представила Needle 2 — открытую модель с 45 млн параметров для вызова инструментов, управления устройствами и структурированного извлечения данных. Вся модель поставляется одним бинарником весом 14 МБ и работает в 28 МБ ОЗУ. Веса обучены и развёрнуты в 2-битном формате Cactus Quants и запакованы в собственный C++-движок — никаких сред выполнения и загрузок во время инференса.

Разработчики подчёркивают узкую специализацию: преобразование «грязного» предложения в типизированную сигнатуру функции не требует общих знаний или свободного текста. Поэтому 45 млн параметров достаточно. Модель выдаёт 500 токенов/с на Raspberry Pi 5, 400–1500 токенов/с на Meta Quest 3S и Apple Vision Pro, 300–700 токенов/с на смартфонах дешевле $200.

Архитектура — Simple Attention Network: FFN заменён на Hadamard MLP, сохранено GQA-внимание, добавлена энграммная память на хешированных n-граммах и multi-lane гиперсвязи. Сеть 27 слоёв шириной 512. Предобучение на собственном корпусе из 115 млрд токенов, пост-обучение — 38 млрд. Для сравнения, LFM2.5-230M обучалась на 19 трлн токенов. Needle 2 тратит 70 MFLOPs на токен против 460 у LFM2.5 и 540 у FunctionGemma.

Модель уже работает локально в приложении Index 01 от Pebble для офлайн-голосовых команд. Поддерживаются macOS, Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows, Android, iOS/watchOS/tvOS и WebAssembly. Подходит для умного дома, носимых устройств, робототехники, киосков и регулируемых сред, где аудио не должно покидать устройство.