Инструменты
Локальный ИИ до 100 000 рублей: какие сборки дают максимум токенов и что важнее — память или частота
Автор протестировал бюджетные сборки на базе AM4 и Threadripper в паре с бюджетными видеокартами — Tesla V100 и CMP 40HX. Главная цель: понять, возможен ли жизнеспособный инференс на CPU и где узкое место.
Источник: habr.com