LiteLLM как единый шлюз для ИИ-моделей: грабли с лимитами и блокировками

Группа компаний «Синтека», разрабатывающая софт для строительной отрасли, активно использует ИИ-модели. Чтобы не управлять десятком отдельных подписок, инженеры решили построить единый шлюз на базе открытого прокси LiteLLM. Идея — один эндпоинт для всех моделей, прозрачная маршрутизация и централизованное управление ключами.

На практике схема столкнулась с неожиданными сложностями. Лимиты разных провайдеров работают по-разному, некоторые блокируют запросы при превышении квоты, а контроль за потреблением токенов требует дополнительной настройки. Автор делится конкретными граблями: как не попасть в блокировку, как считать лимиты и какие метрики нужно мониторить, чтобы шлюз не упал в самый неподходящий момент.