Одна строка в промпте дала +16 процентных пунктов к поиску по памяти: месяц тюнинга оказался шумом

Разработчик делится опытом тонкой настройки поиска по памяти: месяц работы над параметрами BM25 и другими приёмами поднял Recall@5 на 17%, но тест Макнемара (p=0.79) показал, что результат неотличим от случайного шума.

Проблема оказалась в промпте: модель отказывалась отвечать, когда ответ уже был в контексте. Исправление одной строки за один вечер дало +16 процентных пунктов реального прироста качества. В посте — как собирать проверочные вопросы и не попасть в ловушку ложных улучшений.