Исследования
Проверяющий ИИ испортил правильные ответы: разбор трёх сбоев генератора учебных заданий
Автор разбирает три случая, когда проверяющий ИИ в генераторе учебных заданий ломал правильные ответы. Например, слово «маши…ый» попало в правильную корзину, но проверка переложила его в неправильную — при этом модель-арбитр в собственном объяснении написала «машинный».
В материале по сохранённым ответам показано, что именно пошло не так в процессе, какие правки внесли в код и почему эти изменения не доказывают надёжность системы. Это не просто баг, а иллюстрация того, как ИИ-валидаторы могут противоречить сами себе.
Источник: habr.com