Apple M5 Ultra уступает RTX PRO 6000 в инференсе: единственный козырь — пропускная способность памяти

Согласно обсуждению на Habr, новый Mac Studio на чипе Apple M5 Ultra уступает профессиональной видеокарте Nvidia RTX PRO 6000 практически во всех задачах инференса. Особенно заметно отставание на этапах prefill и decode — ключевых фазах работы языковых моделей, где скорость вычислений критична.

Единственное конкурентное преимущество Apple — пропускная способность памяти. В сценариях, где модель упирается в память, M5 Ultra может быть полезен. Однако для большинства задач инференса, особенно при работе с большими моделями, RTX PRO 6000 остаётся более производительным решением.

Автор заметки отмечает, что для личного использования Mac Studio всё же стоит рассматривать — возможно, благодаря интеграции с экосистемой Apple и достаточной производительности для ряда задач. Тем не менее, для профессионального ИИ-инференса выбор очевиден не в пользу Apple.