Дописываем оборванные ответы LLM: три ловушки склейки и функция-спаситель

В одном чате работает несколько LLM, и однажды модель начала генерировать список из ста пунктов, но оборвалась на середине слова — без ошибок и предупреждений. Причина — ограничение на длину ответа или лимит токенов. Чтобы восстановить целостность, разработчики обратились к параметру finish_reason, который указывает, почему генерация остановилась.

Однако простая склейка оборванных кусков приводит к трём ловушкам: артефакты в месте стыка (повторы, обрывки слов), потеря контекста при повторном запросе и неверная интерпретация finish_reason. В статье описана функция, которая обходит эти проблемы и корректно дописывает ответ, сохраняя связность текста.