Как запустить Qwen3.8-27B локально на RTX 3090 в Windows 10: пошаговое руководство

Автор статьи описывает полный цикл локального запуска модели Qwen3.8-27B на Windows 10 с видеокартой RTX 3090. В руководство включены установка необходимого ПО (Python, Git, CUDA Toolkit, CMake, MSVC, Ninja, OpenSSL), сборка llama.cpp из исходников с поддержкой GPU, скачивание модели с Hugging Face, её конвертация в формат GGUF и квантизация в Q4_K_M — чтобы модель целиком поместилась в 24 ГБ видеопамяти.

После квантизации даны параметры запуска локального сервера llama.cpp с OpenAI-совместимым API и веб-интерфейсом для общения через браузер. Каждый шаг сопровождается объяснением назначения команд и параметров, что делает инструкцию доступной для пользователей без глубокого опыта работы с LLM.