Rerank в Obsidian: поднимает ли вторая модель релевантность? Тест на 64 и 500 заметках

Разработчик добавил Rerank в свой плагин для Obsidian и решил проверить, стоит ли гонять вторую модель при каждом поиске. Он сравнил три модели и провёл эксперименты на 64 и 500 заметках.

На корпусе из 64 заметок первый полезный результат поднялся наверх только в одном случае из 24. На 500 заметках вскрылась другая проблема: реранкер оценивал целые документы, и это маскировало различия между реально релевантными фрагментами внутри них.

Автор делится результатами, рассказывает о расходах на дополнительный прогон и объясняет, почему в итоге сделал отдельную кнопку уточнения, а не автоматический Rerank при каждом запросе.