Запускаем локального AI-ассистента в VS Code: модель gpt-oss 20B MoE и плагин Kilo Code на 32 ГБ ОЗУ

Многие разработчики хотят перенести AI-ассистента на локальную машину из-за безопасности или нежелания отправлять код в облако. Оказывается, для этого не требуется дорогое оборудование: достаточно 32 ГБ оперативной памяти и относительно свежего железа.

В статье рассматривается запуск модели класса 20B, например gpt-oss:20b. Благодаря архитектуре Mixture of Experts (MoE) модель активирует только часть параметров для каждого токена, что обеспечивает хорошую скорость генерации даже без топовой видеокарты.

В качестве интерфейса используется плагин Kilo Code для VS Code — мощный форк OpenCode (Continue), заточенный под работу с агентами и инструментами.