Запуск Qwen 35B на RTX 3060 с PCIe Gen2 x4: 109 ток/с

В статье на Habr автор делится результатами эксперимента: он запустил большую языковую модель Qwen3.6–35B‑A3B на видеокарте RTX 3060, подключенной через шину PCIe Gen2 x4. Скорость генерации составила 109 токенов в секунду.

Несмотря на то, что PCIe Gen2 x4 имеет пропускную способность всего около 0,5 ГБ/с, это не стало узким местом. Автор разбирает, почему: модель умещается в 12 ГБ VRAM RTX 3060, а для инференса важнее вычислительная мощность и кэширование, чем скорость передачи данных. Эксперимент показывает, что даже старые видеокарты с медленным подключением могут быть пригодны для запуска современных LLM, если модель оптимизирована и помещается в память.