Что делать, если API Anthropic или OpenAI упал посреди LLM-пайплайна: строим отказоустойчивый конвейер на конечных автоматах

Когда в многоэтапном LLM-пайплайне (например, кредитного скоринга) ложится API провайдера — Anthropic или OpenAI — обычные гейтвеи вроде LiteLLM делают автоматический retry HTTP-запроса, но они слепы к контексту: не понимают, на каком шаге бизнес-логики остановился агент.

Автор статьи предлагает проектировать отказоустойчивый конвейер с помощью концепции конечных автоматов (FSM) и легковесного движка llm-nano-vm. Такой подход позволяет сохранять состояние выполнения, корректно обрабатывать сбои на любом этапе и возобновлять работу с прерванного места, а не с нуля.