Ornith‑35B на ноутбуке: 99 токенов в секунду на AMD Strix Halo без потери качества

Ornith‑1.0‑35B — относительно компактная модель, которая, тем не менее, показала отличные результаты в агентном кодинге и обошла Qwen3.5‑397B в Terminal‑Bench. Авторы решили проверить её производительность на связке AMD Strix Halo с пропускной способностью памяти до 256 ГБ/с.

В ходе экспериментов перебрали Vulkan, MTP, селективную квантизацию и n‑gram reuse. Не все техники дали прирост, но итоговая конфигурация позволила получить 99 ток/с без потери качества — и всё это на обычном ноутбуке с 8 ГБ видеопамяти под Windows.