Студент ТОП ИТ предложил бороться с галлюцинациями LLM через семантическую энтропию и RAG

Галлюцинации LLM — не баг конкретной реализации, а фундаментальное свойство архитектуры: модель не знает, чего не знает, и уверенно выдаёт вымысел. Студент первого курса ТОП ИТ предложил бороться с этим, вооружившись RAG и семантической энтропией.

Идея в том, чтобы заставить модель оценивать неопределённость собственных ответов: если семантическая энтропия высока — значит, модель «не уверена» и должна либо отказаться отвечать, либо обратиться к внешним источникам через RAG. Такой подход позволяет отсечь ложные факты, не снижая качества на уверенных ответах.

Статья носит скорее концептуальный характер, но демонстрирует растущий интерес к борьбе с галлюцинациями на уровне архитектуры, а не пост-обработки. Полный текст доступен на Habr.