Мини-ПК на Strix Halo выдал 236 tok/s при 32 параллельных запросах: тест без тротлинга

Один Beelink GTR9 Pro на Ryzen AI Max+ 395 выдал 236 tok/s суммарной генерации при 32 одновременных коротких запросах и удержал средние 226 tok/s за 30 минут непрерывной нагрузки без тротлинга — на одном компактном ПК.

В процессе тестирования автор нашёл воспроизводимый провал пропускной способности, из-за которого чуть не опубликовал неверные выводы. Также выяснилось, что спекулятивный декодинг на его стеке работал не как ускоритель, а как дополнительный налог.

Все харнессы, конфиги, поминутные ряды и телеметрия выложены в открытый репозиторий — данные можно пересчитать на уровне прогонов. Автор предупреждает, что результаты получены на конкретном стенде и не обязательно переносятся на другие стеки.