Сравнение подходов к вызову инструментов: генерация против выбора — ELM показал 88,3% точности отказа, Bonsai — 15,4%

Если вы подключаете реальные инструменты к чату, нужно учитывать два сценария: когда инструмент должен быть вызван, и когда ни один не подходит. В своей экспериментальной системе ELM автор исследует второй случай — нейросеть выбирает функцию и аргументы из предложеных кодом вариантов, без генерации текста вызова.

На задачах сборки вызовов локальная Bonsai-2-27B заметно обошла ELM. Однако когда требуется корректный отказ от неподходящего инструмента, картина кардинально меняется: ELM достигла 88,3% правильных отказов против всего 15,4% у Bonsai.

В статье подробно разбирается, что именно измерялось и где проходит граница сравнения. Автор показывает, что выбор из вариантов может быть более надёжным для случаев, когда инструмент не применим.