«Неизвестное неизвестное» в промптах: чему инженеров учит психология 1970-х

Инженер Anthropic Тарик Шихипар предложил простую, но цепляющую схему для работы с Claude: перед большой задачей разложить знания на четыре полки. То, что мы знаем; то, о чём знаем, что не знаем; то, что знаем так хорошо, что не проговариваем; и то, о существовании чего даже не догадываемся. Последняя категория — самая коварная: невозможно задать хороший вопрос о том, о чём не подозреваешь.

Автор заметки на Habr увидел в этом приёме отсылку к психологии 1970-х и метакогниции — и не ошибся. Дальше он уходит в кроличью нору: от исследований того, способны ли языковые модели оценивать собственное знание, к работам Anthropic по интроспекции и механистической интерпретируемости. Получается, что практический совет «сначала пойми, чего ты не знаешь» — лишь верхушка более фундаментальной проблемы: как вообще определить границы знания системы и заметить то, чего мы о ней не видим.

Для инженеров вывод практичный: промпт-инжиниринг упирается не только в формулировки, но и в метакогнитивные способности — и человека, и модели. А для Anthropic эта тема давно стала сквозной: понять, что именно знает и чего не знает модель, — значит научиться контролировать её поведение.