GTX 1080 Ti и MoE-модели: какой локальный ИИ быстрее пишет код — тест перплексии и скорости

Владельцы старых видеокарт вроде GTX 1080 Ti могут запускать современные MoE-модели, но скорость сильно разнится. В предыдущем тесте автор выяснил, что 176B-модель Qwen3.8-Flash-Next выдаёт всего 11 токенов/с и тратит три часа на простой погодный сервер на Go, а 35B-версия справляется за 15 минут при 30 токенов/с.

После публикации в комментариях предложили проверить ещё несколько моделей. Автор отобрал две основные и одну экспериментальную — Qwen3.8-35B-A3B-Distill.APEX-I-MiniPlus-V2.1.gguf. Теперь он измерил перплексию на WikiText-2 и Go-коде, а также скорость генерации через llama-bench, чтобы получить объективную картину вместо «написания программы на время».

Результаты помогут выбрать оптимальную MoE-модель для локального кодинга на слабом железе. Полный разбор цифр и сравнение — в статье на Habr.