Open-source LLM-шлюз Keystone: как подключить свои GPU и пережить отказы без простоя

Keystone The Model Switchboard — это open-source LLM-шлюз на Go, который маршрутизирует запросы между моделями. В новой статье команда делится опытом эксплуатации: как добавить свои GPU, что ломается при отказе каждой зависимости, как менять ключи шифрования и проверять целостность релиза.

Особое внимание уделено обновлениям без downtime: процесс организован так, чтобы продакшен не простаивал. Также описаны механизмы верификации скачанных бинарников — чтобы убедиться, что это именно официальный релиз, а не подделка.

Статья — практическое руководство для тех, кто уже использует или планирует развернуть собственный LLM-шлюз с нулевым временем простоя и контролем над инфраструктурой.