125 токенов в секунду на RTX 4070 Ti SUPER: как оживить локального кодинг-агента

По данным опросов GaugeDB, 27,21% пользователей настольных ПК имеют видеокарты с 16 ГБ видеопамяти. Автор статьи использует NVIDIA GeForce RTX 4070 Ti SUPER с 16 ГБ GDDR6X за $900. Раньше на такой карте нельзя было запустить достаточно умного и быстрого LLM-агента: умные модели вроде Qwen 3.8 27B (Dense) выдавали лишь 10-20 токенов в секунду, а для комфортной работы кодинг-агента нужно 100-150 токенов в секунду.

Автор нашёл решение, которое позволило достичь 125 токенов в секунду, превратив локальную LLM в полноценного кодинг-агента. Подробности метода раскрыты в статье на Habr.