ИИ должен уметь забывать устаревшие истины: эксперимент с «биографией» теории
Когда ИИ получает доступ к архиву предыдущих попыток, он запоминает не только открытия, но и устаревшие инструкции, ложный консенсус и случайные ошибки. Научной системе недостаточно уметь узнавать новое — она должна уметь при достаточных основаниях перестать считать истиной то, что уже хорошо «знает». Баланс между сенсационностью и застоем — ключевая проблема.
В предложенном эксперименте одна и та же модель получает одинаковые экспериментальные данные, но разную «биографию» старой теории: в одном случае она остаётся рабочей гипотезой, в другом — успевает стать учебником, обрасти цитатами и породить зависимые знания. Если решение меняется только из-за статуса и числа пересказов, это измеримый эффект научного авторитета при неизменной доказательной базе.
Если этот эффект можно уменьшить, не заставляя ИИ устраивать революцию после каждого сбоя прибора, возникает инженерный вопрос: можно ли программировать не только память исследовательской системы, но и правила, по которым она меняет убеждения? Ответ на него определит, сможем ли мы создавать по-настоящему адаптивный ИИ.