PyTorch MPS против Apple MLX: бенчмарки дообучения LLM на Mac с 16 ГБ — скорость или память?

Разработчики, которые дообучают LLM на Mac с 16 ГБ ОЗУ, часто выбирают между PyTorch MPS и Apple MLX. Свежее сравнение показывает, что MLX, созданный для Apple Silicon, при дообучении может быть в несколько раз медленнее, чем MPS.

Однако у MLX есть важное преимущество: там, где MPS упирается в лимит памяти, MLX позволяет запустить модель вдвое крупнее. Причина — эффективное квантование, которое, впрочем, сказывается на скорости.

Авторы провели 10 тестовых запусков Qwen 2.5 с разными размерами моделей и длиной контекста, чтобы выяснить, какой стек выбрать для локального SFT. Результаты помогут определиться в зависимости от приоритетов — скорость или доступный размер модели.