Домашний ИИ-сервер за копейки: две Tesla P100 и Xeon на 28 потоков — тесты на 14 задачах

Автор собрал домашний стенд для LLM: две серверные Tesla P100 (32 ГБ суммарной видеопамяти), 28-поточный Xeon и блок питания на 1 кВт. Система выдаёт от 10 до 50 токенов в секунду в зависимости от модели — сопоставимо с уровнем Opus 4.6, но без переплаты за облачные API. Турбины охлаждения слегка шумят, поэтому сервер пришлось выселить на кухню.

В тесте на 14 реальных задачах производительность оказалась приемлемой: облачный DeepSeek в три раза быстрее, но зато это полностью локальное решение, работающее 24/7. Автор уверяет, что для многих кейсов хватает, и рецепт подходит любому, кто готов возиться с железом и не боится шума.