Qwen3.8-27B на RTX 5070 Ti в российском облаке: 91,1% успеха и 68 ток/с

В локальном запуске на видеокарте RTX 5070 Ti, арендованной в российском облаке, модель Qwen3.8-27B в квантовании IQ3 показала 91,1% успеха на задачах автора. Индекс качества составил 82,3, а генерация шла со скоростью 68,3 токена в секунду в один поток при контексте 131K токенов.

Автор сознательно идёт против распространённого мнения, что 131K контекста — это мало, а IQ3 делает модель «глупой». По его словам, результаты на реальных задачах говорят об обратном, и он готов показать это на своём бенчмарке.

Это первая часть материала: подробный разбор методики, конфигурации и результатов автор обещает в продолжении.