Tesla V100 32 ГБ в 2026: домашний сервер для LLM на 120 млрд параметров — и половина замеров оказалась ошибкой

Карта Tesla V100 с 32 ГБ памяти всё ещё стоит как современная видеокарта среднего сегмента, но позволяет запускать LLM до 30 млрд параметров без ухищрений, а с квантизацией и оффлоадингом — до 120 млрд. Автор собрал на ней полноценный локальный сервер для инференса.

При тестировании скорости генерации оказалось, что около 50% результатов предыдущих замеров были искажены из-за неправильной методики — например, смешения времени загрузки модели и чистого инференса. После корректировки протокола производительность значительно отличается от ранних цифр.