Почему ИИ говорит о гоблинах и гремлинах: OpenAI объяснила феномен «демонических галлюцинаций»

OpenAI в конце апреля выложила в блоге заметку, в которой попыталась разобраться с навязчивой темой: почему её модели то и дело упоминают гоблинов, призраков и прочих фантастических тварей. Материал получился неожиданно глубоким и, как признаёт переводчик, пересекается с его собственной многомесячной работой вместе с Мюрреем Шанаханом и Гамильтоном Моррином.

В зависимости от контекста, проект можно описывать как попытку понять глубинную психологию больших языковых моделей и то, как их внутренние «странности» влияют на диалог с пользователями. Альтернативное, более образное определение — «демонология нейросетей»: систематизация тех фантомов, что рождает статистическая природа LLM.

Исследование затрагивает важный аспект надёжности моделей: почему вроде бы обученные на огромных массивах текста нейронки склонны к однотипным галлюцинациям про мифических существ. Это не просто курьёз, а ключ к пониманию систематических ошибок и внутренних паттернов, которые модели не «понимают», а статистически воспроизводят.