Как обучить ИИ-агента для КОМПАС-3D на 34 млн параметров: 200К пар и Hit@5 с 5,8% до 79,6%

Вместо того чтобы ставить между инженером и CAD-системой ещё одну большую языковую модель, команда пошла другим путём: они обучили модель на 34 миллиона параметров — в десятки раз меньше типичных LLM. Ключевой фактор успеха — качественные данные. Было собрано 200 тысяч пар «формулировка задачи → элемент КОМПАС API», причём негативные примеры подбирались специально: одноимённые методы разных интерфейсов, соседние get/set одного свойства, кандидаты, которые базовая модель ошибочно ставила на первое место.

Дообучение заняло меньше пяти часов на одной видеокарте. Результат впечатляет: Hit@5 на запросах, где метод описан задачей, а не именем, вырос с 5,8% до 79,6%. Однако поиск — это только вход. Каждый кандидат проходит через граф типов, константы берутся из настоящих DLL, код проверяется компилятором, а недокументированное поведение агент выясняет экспериментами в живом CAD: пишет зонд, запускает в песочнице, читает результат.

Выдать догадку за факт агенту негде — на каждом шаге его встречает проверка. В статье приведены реальные логи, метрики трёх бенчмарков (включая неудобные для авторов) и объяснение, почему в продакшен пошла именно первая версия модели, а не две следующие. Система получила название KOMPAS Guard и уже используется в реальных процессах.