Есть ли у LLM скрытая грамматика? Два года поисков ответа

Автор переведённой статьи задался фундаментальным вопросом: действительно ли языковые модели опираются на скрытые грамматические структуры при генерации текста, или грамматическая правильность — просто случайное следствие статистического предсказания? Этот вопрос потребовал почти двух лет исследований.

Пока точных выводов в анонсе нет, но сама постановка проблемы важна: она затрагивает понимание того, насколько «глубоко» LLM понимают язык. Если грамматика встроена в архитектуру — это одно, если же это иллюзия — подходы к обучению и интерпретации моделей могут измениться.