Keystone 1.0: LLM-шлюз, который сам выбирает модель, хранит ключи и умеет считать расходы

Keystone 1.0 (KTMS) решает типовую проблему: имя модели в коде устаревает на следующий же день после выхода новой, а при десяти сервисах ключи вендоров приходится разносить по десяти конфигам. Шлюз убирает это из кода — сервис просто сообщает сложность задачи, а Keystone решает, какую модель позвать, с каким ключом и не отдать ли запрос на собственную GPU.

Вместе со шлюзом вышли веб-консоль ktms-admin для администрирования и учёт расходов light-tokenmeter. Все три компонента написаны на Go и распространяются под лицензией Apache 2.0. Описание в статье дано по актуальной версии 1.3, а API в пределах ветки 1.x не ломается.