Полтора месяца ускорял MoE на GTX 1660 SUPER: победил штатный флаг llama.cpp

Автор статьи — тепломеханик и начальник отдела в проектной организации, а не программист. С августа он ковыряет форк llama.cpp, чтобы большие MoE-модели нормально работали на обычном домашнем ПК: видеокарта на 6 ГБ, 24 ГБ оперативной памяти и SATA-диск. В качестве подопытной взял gpt-oss-20b.

Итог эксперимента оказался обидным для энтузиаста: победил штатный флаг -fit. На длинном запросе он в 2,44 раза быстрее привычного -ngl 99, а собственные ускорения поверх него не дали ничего. То есть стандартная опция llama.cpp обошла все кастомные оптимизации.

Зато по пути автор собрал полезный материал: способы, которыми замер скорости врет, и несколько настроек, которые пригодятся любому владельцу небольшой видеокарты. Практический опыт для тех, кто пытается выжать максимум из MoE на слабом железе.