Таро, Витерби и LLM: как алгоритмы выбирают единственный смысл из множества

Интерпретация карт Таро — это не мистика, а задача поиска оптимального смыслового пути. Автор разбирает, как те же принципы работают в современных LLM: от простого greedy decoding до точного алгоритма Витерби, beam search, фактор-графов, условных случайных полей (CRF) и финального реранкинга с помощью большой языковой модели.

На контрпримере показано, почему жадный локальный выбор (самое вероятное слово на каждом шаге) часто уступает глобальному оптимуму. Статья также проводит границу: где заканчивается поиск структуры (дешифровка, парсинг) и начинается свободная генерация текста — ключевое различие между классическими вероятностными моделями и современными LLM.