Зелёный статус гейтвея, а модель молчит: почему HTTP-проверки мало для ИИ

HTTP-проверка доступности не гарантирует, что ИИ-функция реально работает. Михаил Шпаков, разработчик сервиса мониторинга Statuser, получил жалобу от пользователя: модель, которая разбирала обращения клиентов и готовила операторам черновики ответов, перестала отвечать, хотя монитор на адрес гейтвея показывал зелёный статус. Первыми проблему заметили операторы поддержки, а не система мониторинга.

Причина оказалась простой: провайдер снял выбранную модель с обслуживания, но сам гейтвей продолжил работать. HTTP-монитор делал обычный GET-запрос и получал успешный ответ, не отправляя запрос на генерацию. Между доступным гейтвеем и работающей функцией продукта есть ещё один слой — сама модель, и до него стандартная проверка не доходит. Сервис целиком при этом не падает: пропадает лишь одна функция, например подсказки или ответы в чате.

После этого случая в Statuser появился отдельный тип мониторинга ИИ-моделей. Он не просто обращается к адресу гейтвея, а отправляет настоящий запрос выбранной модели и проверяет её ответ. Такой подход позволяет заметить сбой раньше, чем о нём сообщат пользователи.