Инференс LLM на кластере старых ноутбуков: почему три процессора и 52 ГБ ОЗУ почти никогда не быстрее одного

Автор собрал три старых ноутбука в кластер с суммарными ресурсами 52 ГБ ОЗУ и тремя процессорами, чтобы проверить, даст ли это ускорение инференса LLM. Интуиция подсказывала, что распределение нагрузки повысит скорость, но на практике почти всегда получалось медленнее, чем на одном ноутбуке.

Выяснилось несколько неочевидных вещей: старый процессор неожиданно оказался не самым медленным узлом, третий ноутбук практически не давал прироста, а обработка промпта вела себя противоположно генерации токенов. Виной всему — узкие места в межсоединениях и разная пропускная способность памяти.

Любой GPU средней ценовой категории делает ту же самую работу в десятки раз быстрее. Эксперимент полезен скорее для понимания ограничений распределённого инференса на CPU, чем для практического применения.

Подробности — в исходной статье на Habr.