Суверенный ИИ по цене четырёх A100: сколько стоит запустить AliceAI от Яндекса

Желание проверить, как отвечает новая модель Яндекса на «основополагающий вопрос», обернулось для автора расследованием: сколько реально стоит инференс AliceAI-Foundation-80B-A3B-Base. Судя по найденным данным, для запуска нужны четыре A100. На двух, в теории, можно попробовать с CPU-offload, но автор принципиально не готов идти на такие компромиссы, как и на квантизацию.

GPU решили арендовать в облаке. Первая попытка через Datasphere на Jupiter notebook провалилась — минус 6000 рублей. Затем последовала заявка на виртуальную машину с четырьмя A100, поднятие квот через тикеты — и снова неудача. Заявленный Gen2 так и остался недоступным: на него даже квоту не поднимают. В итоге автор вернулся к Datashpere Jobs, поскольку для Jupiter эти ускорители всё-таки выделяли. Дальше схема обрывается, но главный вывод уже ясен: «суверенный» инференс — это не только мощь, но и испытание терпения.

История наглядно показывает, что даже открытая модель от крупного российского вендора остаётся сложной в запуске на арендованных GPU, а стоимость «попробовать» может оказаться выше ожидаемой.