VRAM-калькуляторы для LLM массово ошибаются: автор сверил их с реальным vLLM и собрал точный инструмент

Наивная формула «веса плюс KV-кэш» подводит даже лучшие VRAM-калькуляторы для LLM. Автор проверил инструменты из топ-выдачи Google на скриншотах и показал, где именно ломается каждый из них — расхождения с реальностью оказались системными.

Чтобы получить эталон, он сравнил расчёты с живым vLLM на серверах A100 и H100: расхождение составило около 1%. На основе этих данных он собрал калькулятор ridgepoint, который считает не по учебнику, а как настоящий движок инференса. Инструмент ставится локально через pip install ridgepoint, GPU не требуется.