Внутри Apple Neural Engine в M4: реверс-инжиниринг в обход Core ML

Авторы задались вопросом: можно ли заставить Apple Neural Engine делать больше, чем позволяет Core ML? Для этого они провели реверс-инжиниринг стека ANE в M4, добравшись до закрытых API.

В результате они научились компилировать и запускать модели напрямую на ускорителе, обходя официальный инструментарий. Заодно выяснилось, что часть устоявшихся мнений о возможностях ANE требует пересмотра.

Это открывает путь к более полному использованию аппаратного ускорения на устройствах Apple за пределами ограничений Core ML. Подробности — в первой части разбора.