Как запустить Qwen на Apple Neural Engine: реверс-инжиниринг компилятора ANE

Вторая часть цикла о реверс-инжиниринге Apple Neural Engine (ANE) посвящена практическому запуску модели. Авторы разобрались, как «скормить» компилятору ANE нужные инструкции, чтобы получить работающий инференс Qwen без задействования GPU и CPU.

Ранее подобные эксперименты ограничивались простыми свёрточными сетями, но теперь удалось запустить более тяжёлую языковую модель. Ключевая сложность — адаптация промежуточного представления под специфический набор инструкций нейронного блока Apple.

Результат показывает, что ANE можно использовать для инференса современных LLM, что открывает путь к более эффективному выполнению моделей на устройствах Apple за счёт специализированного железа.