Не верь JSON-ответу: как «Ингосстрах» использует logprobs для поиска ошибок LLM

В пайплайне интеллектуальной обработки документов (IDP) на основе мультимодальных LLM не было оценки уверенности модели: даже при ошибке в номере паспорта или фамилии ответ остаётся синтаксически корректным JSON, и следующая система принимает неверные данные за достоверные. В классических OCR-решениях (CRNN, Surya, Easy-OCR, Tesseract) такая оценка обычно есть.

Чтобы решить проблему, команда обратилась к logprobs — логарифмам вероятностей токенов на каждом шаге генерации. Они показывают, насколько ожидаемым было продолжение для модели, но сами по себе не гарантируют правильности распознанного поля. Авторы проверили, можно ли превратить эти вероятности в оценку риска и на реальных данных отбирать сомнительные результаты для ручной проверки.