LLM выдумывают несуществующие пакеты: исследование 16 моделей и 576 000 примеров кода

Большие языковые модели (LLM) могут «галлюцинировать» несуществующие зависимости в коде. Разработчик, доверившись рекомендации, рискует установить вредоносный пакет, который злоумышленник опубликует под придуманным именем. Это превращает ошибку модели в вектор атаки на цепочку поставки.

Авторы исследования «We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs» проверили 16 моделей, сгенерировав 576 000 образцов кода на Python и JavaScript. Они изучили частоту появления несуществующих пакетов и факторы, влияющие на это. Работа отмечена наградой «Distinguished Paper Award» на конференции USENIX Security 2025.