70 токенов в секунду: как разогнать qwen3.8-27b на RTX 3090 для кода

Локальные LLM для программирования — дело тонкое: модель может быть отличной, но без правильной обвязки показывать посредственные результаты. По мнению автора, qwen3.8-27b сейчас лучший выбор среди моделей, работающих на потребительских видеокартах, — но только если не идти по самому простому пути.

Прямой способ — скачать чекпоинт с официального аккаунта Qwen на Hugging Face и запустить в любимом инференс-движке — скорее всего разочарует. В статье описан пошаговый план, который позволяет выжать из qwen3.8-27b на RTX 3090 заявленные 70 токенов в секунду и получить нормальное качество генерации кода.