Google представила EnvHarness: среда для ИИ-агентов сама подстраивается под слабые места модели

LLM-агенты всё чаще учатся в интерактивных средах, но те обычно собраны вручную и заморожены: они ведут себя одинаково независимо от того, какой агент действует и насколько он улучшился. Обычный подход — генерировать новые среды, но это требует доменно-специфичных пайплайнов и LLM-верификаторов, которые приходится перепроизводить и фильтровать. EnvHarness переворачивает логику: он оборачивает существующую среду в подключаемые компоненты, работающие через стандартный интерфейс reset()/step(). Симулятор, задачи и человеческий верификатор остаются нетронутыми.

Три встроенных компонента свободно комбинируются: Stage воспроизводит фиксированную последовательность действий после reset(), начиная эпизод с другого места; Contract устанавливает перехватчики на действие, переход и наблюдение (блокировка действия, переписывание ответа, усечение наблюдения); Chain объединяет две среды в один эпизод с общим бюджетом шагов. Компоненты подбирает LLM-дизайнер EnvRigger: он наблюдает пять прогонов политики, диагностирует системный недостаток, пишет обёртки на Python и проверяет на пяти новых прогонах, отвергая нерешаемые и тривиально решаемые варианты.

На пяти бенчмарках в четырёх доменах навыки, добытые таким способом, дают до 9,0 баллов на удержанных задачах при сокращении числа шагов выполнения на 9,8%. EnvHarness распространяется под лицензией Apache-2.0 на Python с драйверами воспроизведения для шести сред. Чтобы подключить новый бенчмарк, достаточно реализовать один интерфейс (reset/step/observe/evaluate/get_env_state/save_state/from_state) — ничего ниже по течению менять не нужно. Единственное жёсткое требование — среда должна быть сбрасываемой, что исключает живые аккаунты и физических роботов.