Локальный запуск LLM на Windows: пошаговый гайд с WSL2, Docker и vLLM

Большинство гайдов по локальному запуску LLM предлагают скопировать пару команд в терминал — и всё. Но при первой же ошибке становится непонятно, где искать проблему: в Windows, WSL2, драйвере NVIDIA, Docker, CUDA или самом inference-сервере. Автор статьи решил разобрать процесс по косточкам.

В статье развёрнуто показано, как поднять Qwen3-0.6B на обычной NVIDIA-видеокарте под Windows 11. Используются WSL2, Docker, NVIDIA Container Toolkit и vLLM. Каждый шаг объясняется с привязкой к конкретному уровню — от установки драйверов до запуска модели и тестирования.

Гайд будет полезен разработчикам и энтузиастам, которые хотят не просто запустить модель, а понимать, как работает вся цепочка: от Windows-хоста до inference-сервера в контейнере. Это снижает время на отладку и позволяет уверенно экспериментировать с разными LLM локально.