400B-модель запустили на iPhone 17 Pro: 0,6 токена в секунду — но она работает

Один разработчик сумел запустить 400-миллиардную модель на iPhone 17 Pro, используя стриминг весов с SSD в обход оперативной памяти. Скорость генерации составила 0,6 токена в секунду — примерно одно слово за пару секунд, с заметными паузами. Технически это пока бесполезно, но практически доказывает, что даже огромные модели можно запускать на мобильных устройствах.

Параллельно автор напоминает, что маленькие языковые модели (1–7 млрд параметров) уже незаметно работают в наших устройствах: в браузере Chrome на десктопе уже скачана модель, которую может использовать любая вкладка, а Apple Intelligence на iPhone — полноценный ИИ-помощник. Статья разбирает, кто делает эти компактные модели, как они запускаются на телефоне и в браузере, и какие подводные камни скрываются за бенчмарками.