Тесты и бенчмарки
18 квантов на одной карте: тест Ornith-1.5 и Qwen3.8 показал, что RTX 5090 не нужна
Практический тест: на одной карте за вечер проверены три модели (Ornith-1.5, Qwen3.8 и ещё одна) в пяти-шести квантах каждая — всего 18 вариантов. Набор задач — 22 реальных кейса, от генерации кода до анализа данных.
Результат: для домашнего использования оптимальны модели 9B в квантах Q5 или Q6. RTX 5090 не нужна — текущие карты справляются с такими конфигурациями без проблем. Вывод: не гнаться за топом, а подбирать квант под задачу.
Источник: habr.com