Бывший исследователь DeepMind хочет вылечить галлюцинации ИИ с помощью принципа AlphaGo

Бывший исследователь DeepMind Тор Грапель запустил стартап Metis Reasoning, нацеленный на борьбу с галлюцинациями больших языковых моделей. В основе подхода лежит принцип поиска, который когда-то помог AlphaGo обыграть чемпиона мира по го. Вместо того чтобы прятать знания внутри весов нейросети, Metis Reasoning предлагает вести «реестр знаний» — явную базу фактов, на которую модель может ссылаться и которую можно проверять.

Такой реестр делает каждое заключение модели прослеживаемым до источника, что должно снизить вероятность генерации вымышленных данных. Однако на данный момент проект находится на ранней стадии: готовая система отсутствует, а бенчмарки для оценки подхода пока не представлены.