DeepSeek, Qwen, GLM на домашнем ПК: личный тест моделей, квантов и движков

На Хабре опубликован подробный отчёт о запуске LLM на домашнем ПК. В тесте участвовали DeepSeek, Qwen, GLM и другие модели — автор сравнивал их в разных квантованиях и на разных движках, замерял скорость и качество.

Результаты показывают, что современные открытые модели уже вполне работоспособны на продвинутом пользовательском железе, хотя выбор кванта и движка критически влияет на производительность. В статье приведены конкретные цифры и рекомендации, что сегодня имеет смысл ставить локально.