Эксперимент: LLM всегда пишут SURE, даже когда ошибаются — 4 из 179 ответов провалили тесты

Автор провёл эксперимент: прогнал 20 небольших задач на Python через три модели, по три повтора на каждую, и собрал 179 ответов. В конце каждого ответа модель должна была написать CONFIDENCE: SURE или UNSURE. Все 179 ответов закончились SURE — вариант UNSURE не использовал никто.

При этом четыре решения завалили скрытые тесты. Одно превращало 1024 байта в 1.0 MiB, другое падало на разнице между двумя обычными датами. Под обоими стояло SURE. Модели были уверены в ошибочных ответах.

Вывод: самооценка LLM — ненадёжный индикатор качества. Эксперимент небольшой, но наглядно показывает, что метрика уверенности не заменяет тестирования. Автор честно перечисляет ограничения эксперимента, но главный урок ясен: доверять словам модели о собственной уверенности не стоит.