Топ-9 AI-шлюзов 2026: Bifrost, Portkey, LiteLLM и другие — сравнение производительности и безопасности

AI-шлюз — это прослойка между вашим приложением и провайдерами моделей. Он даёт единый API для десятков моделей, централизует маршрутизацию, повторные попытки, кэширование, бюджеты и логи. В 2026 году рынок шлюзов резко изменился: Palo Alto Networks закрыла сделку по покупке Portkey 29 мая, Mintlify поглотила Helicone (теперь в режиме поддержки), а LiteLLM пережил компрометацию цепочки поставок PyPI в марте. Теперь выбор шлюза несёт не только функциональные, но и вендорские риски.

Лучший по производительности среди self-hosted — Bifrost (Go, Apache 2.0, 8,7K звёзд на GitHub). Он показывает задержку всего 11 мкс при 5000 RPS на t3.xlarge, а на t3.medium — 59 мкс. В тесте против LiteLLM P99 latency составил 1,68 с против 90,72 с при 500 RPS. Portkey (MIT, 13K звёзд) — лучший open-source шлюз с защитными барьерами, поддерживает 1600+ моделей, задержка менее 1 мс. LiteLLM (53,8K звёзд, 100+ провайдеров) — самый широко используемый, но с задержкой 8 мс P95 при 1000 RPS.

Для платформенных команд — Kong AI Gateway объединяет LLM, MCP и A2A-трафик в одном стеке. Среди управляемых решений: Cloudflare (бесплатное ядро на edge), Vercel (нулевая наценка на токены), OpenRouter (5,5% комиссии). TrueFoundry и Orq.ai — нишевые варианты для VPC и air-gapped. Важно: смотрите не только на функции, но и на лицензию, историю безопасности и модель ценообразования.

Как мы ранжировали: учитывали опубликованные данные о задержке, покрытие провайдеров, управление (виртуальные ключи, бюджеты, RBAC, аудит), варианты развёртки (self-hosted, VPC, air-gapped), модель стоимости и вендорские риски. Полное сравнение девяти шлюзов — в исходной статье.