Как развернуть Kimi K3 на Cerebras: 3 трлн параметров на чипах-пластинах

Инженеры Moonshot AI раскрыли детали развёртывания своей открытой модели Kimi K3 (около 3 трлн параметров) на специализированных чипах Cerebras WSE-3T. Каждый такой чип размером с кремниевую пластину содержит всего 44 ГБ встроенной памяти, тогда как для хранения весов модели нужны терабайты.

Чтобы обойти это ограничение, модель распределяется между несколькими пластинами WSE-3T. Такой подход позволяет запускать модели с несколькими триллионами параметров со скоростью генерации от 1000 до 2000 токенов в секунду и выше — это значительно быстрее традиционных GPU-кластеров для подобных масштабов.

Статья носит практический характер и отвечает на частые вопросы сообщества о том, как Cerebras справляется с огромными моделями. Пример с Kimi K3 выбран как наглядная демонстрация: это одна из крупнейших открытых моделей, недавно вышедшая в топ-4 мирового рейтинга.