Можно ли доверять LLM оценку новизны научных идей?

Исследователи из ряда университетов опубликовали на Hugging Face работу, в которой изучают, насколько LLM объективны в оценке новизны исследовательских идей. Вместо того чтобы полагаться на научное сообщество, авторы предложили моделям сравнить пары анонимных идей и выбрать наиболее оригинальную.

Оказалось, что модели склонны присуждать баллы за новизну тем вариантам, которые сформулированы ярче или содержат модные термины, даже если идея не нова. Кроме того, LLM легко ввести в заблуждение изменением формулировки без изменения смысла. Работа поднимает важный вопрос: можно ли автоматизировать рецензирование или оценку грантовых заявок с помощью ИИ, и где границы его применимости.

Авторы предлагают использовать специальные метрики и калибровку, чтобы снизить влияние смещений, но признают: пока полагаться на LLM в этом вопросе преждевременно. Выводы актуальны для систем автоматического рецензирования и поиска научных новинок.