Четыре Mac Studio в кластер: 1,5 ТБ памяти для запуска ИИ-моделей уровня DeepSeek V3

Автор эксперимента собрал кластер из четырёх Mac Studio, используя новую технологию RDMA через Thunderbolt 5. Это позволило объединить 1,5 ТБ оперативной памяти и запускать модели, которые не помещаются ни в одну видеокарту — например, DeepSeek V3 и Kimi K2 Thinking с 1 триллионом параметров.

В статье приводятся результаты тестов производительности, сравнение с решениями Nvidia и AMD, а также подробно описаны трудности настройки и проблемы стабильности, с которыми столкнулся автор. Эксперимент демонстрирует альтернативный подход к запуску больших ИИ-моделей без дорогих GPU.

Хотя решение не лишено недостатков (сложность конфигурации, нестабильность), оно показывает, что кластеризация потребительских устройств может быть viable option для энтузиастов и небольших команд, которым нужен локальный доступ к моделям огромного размера.