DeepSeek-R1 запустили на отечественных ARM64-серверах с NVIDIA A100: инженерный квест с рецептом

Директор по развитию «Е-Флопс» Валентин Алфёров рассказал, как команда за неделю запустила DeepSeek-R1 на сервере с отечественными ARM64-процессорами (96 ядер на модуль) и двумя NVIDIA Tesla A100. Задача была нетривиальной: обеспечить стабильную работу LLM в изолированном контуре с жёсткими требованиями по безопасности — без доступа к облачным сервисам вроде ChatGPT.

Основная мотивация — внутренние регламенты: данные нельзя уводить вовне, а писать документацию и тестировать железо с софтом нужно с помощью ИИ. Инженеры решили не просто запустить модель, а проверить, как отечественные ARM-процессоры справляются с инференсом LLM. Результат — рабочая система без падений, которой делятся с сообществом в виде практического рецепта.

В статье подчёркивают, что не претендуют на революцию — запуск LLM на GPU-ускорителях уже делали. Но полная связка: отечественные ARM64, NVIDIA A100 и изоляция от внешних сетей — потребовала нестандартных решений. Команда опубликовала видео и подробное описание процесса.