Фильтр Калмана в цикле правок ИИ: симуляция обнадёжила, но реальный пилот не выявил преимуществ

Фильтр Калмана — классический метод оценки шумных измерений. Автор решил проверить, поможет ли он ИИ-агентам лучше принимать правки кода в цикле «автор-критик». Для этого он построил учебную модель, соединяющую прогноз и отзыв критика, и сравнил её с обычным регулятором.

Сначала симуляция показала, что фильтр улучшает оценку состояния и уменьшает величину правок. Затем последовал реальный пилот: 720 ответов модели, из них 144 для калибровки и 576 для оценки на шести задачах оптимизации Python-кода. Результат: все четыре режима достигли критерия успеха, но дополнительного преимущества от фильтра Калмана обнаружить не удалось.

Автор приложил к статье ноутбук, исходники, результаты, графики и описание ограничений. Также доступен готовый пакет для собственных экспериментов с агентами через OpenAI API — с инструкцией, калибровкой, паузой и возобновлением. Исследователь приглашает всех желающих проверить, на каких реальных задачах рой ИИ-агентов с фильтром Калмана работает лучше или хуже обычного.