321-миллиардная модель на одной RTX 3090: как запуск гигантских MoE стал реальностью для домашних ПК

Прогресс в оптимизации инференса больших языковых моделей набирает обороты. Ещё в сентябре запуск 125-миллиардной MoE-модели на домашнем ПК считался уделом владельцев серверных стоек, но уже к концу октября эту модель спокойно крутят на RTX 5070, а 321-миллиардная модель работает на одной RTX 3090 с 64 ГБ ОЗУ.

Такой рывок стал возможен благодаря новым подходам к квантизации, прунингу и эффективному использованию памяти. Статья на Habr подробно разбирает, какие техники позволяют достичь такой производительности и какую реальную скорость выдают эти конфигурации на практике.

Для энтузиастов и разработчиков это означает, что доступ к самым мощным открытым моделям больше не требует дорогих дата-центров — достаточно современного потребительского GPU и немного терпения для настройки.