NVIDIA PAIR: открытый роутер для распределения локальных ИИ-запросов по домашней сети

Когда один агент порождает десятки подзадач, все они конкурируют за один локальный движок — очередь растёт, а соседний DGX Spark или ноутбук простаивает. NVIDIA Personal AI Router (PAIR) решает именно эту проблему: он находит совместимые устройства в домашней сети и распределяет независимые inferenc-запросы между ними, не заменяя сами движки (Ollama или LM Studio). PAIR уже выложен на GitHub под лицензией Apache 2.0, есть установщики для Windows, macOS и Linux.

Установка и подключение максимально просты: PAIR использует mDNS для автоматического обнаружения узлов, а при необходимости IP можно указать вручную. Доверие подтверждается шестизначным PIN-кодом, после чего весь трафик шифруется через mTLS с автоматическими сертификатами. PAIR не вводит собственный API — он перехватывает порты, совместимые с Ollama и LM Studio, и проксирует запросы агентов, поэтому никакие доработки не нужны.

Планировщик PAIR проверяет пять сигналов: доступен ли узел, включён ли нужный движок, загружена ли точная модель, какова текущая загрузка движка и GPU. Модели могут различаться на разных узлах — маршрутизация идёт по месту хранения. Однако PAIR не объединяет видеопамять и не шардит один запрос между машинами: каждый запрос выполняется целиком на одном выбранном узле. Это именно workload-level concurrency.