Яндекс сравнил семантический и причинный поиск для ИИ-ассистента: разрыв в recall — 38% против 87%

Когда ИИ-ассистент помогает чинить баг, ключевая задача — не сгенерировать ответ с нуля, а вспомнить похожий случай из прошлого: какая issue, причина и PR с фиксом. Инженеры Яндекса решили проверить, насколько эффективно ассистент извлекает эти данные из памяти.

Они построили внешний бенчмарк на корпусе реальных тикетов YDB — база данных Яндекса. Сравнили два подхода: обычный семантический поиск (по смыслу слов) и обход явных причинных связей (цепочка «issue → закрывший её PR»).

Результат: семантический поиск нашёл нужный прошлый фикс только в 38% случаев. А причинные связи подняли recall до 87% — более чем в два раза. Вывод: для памяти ИИ-ассистента важнее не просто похожесть текста, а понимание причинно-следственных связей между багом и его решением.