Почему fallback между LLM может испортить семантику ответа: разбор проблемы

В классическом backend fallback означает замену исполнителя при сохранении контракта. С LLM всё иначе: резервная модель может выдать корректный JSON, но полностью исказить семантику ответа. Это ломает ожидания системы и пользователя.

Автор предлагает чётко разделять retry (повтор запроса к той же модели) и fallback (переключение на другую). При fallback нужно учитывать деградацию качества: не всякая модель справится с задачей так же хорошо. Иногда лучше вернуть ошибку, чем «успешный» ответ, который вводит в заблуждение.