Гайд по Loop Engineering: как «автоисследование» Карпати превращает ИИ-агентов в самостоятельных ML-исследователей

Большинство до сих пор использует ИИ как поисковую строку 2015 года: напечатал — прочитал — напечатал снова. Loop Engineering предлагает другой подход: вы ставите цель, а модель сама планирует, действует, проверяет результат и повторяет, пока не добьётся измеримого улучшения. Ключевые компоненты любого надёжного цикла — верификатор (проверяет каждую попытку), состояние (запоминает, что уже пробовали) и условие остановки (чтобы не уйти в бесконечный перебор).

7 марта 2026 года Андрей Карпати выложил в открытый доступ репозиторий autoresearch (MIT-лицензия, ~630 строк кода). Проект за несколько дней набрал почти 90 000 звёзд на GitHub и получил название «петля Карпати». Архитектура жёсткая: агент может править только train.py (модель, оптимизатор, цикл обучения), но не трогает prepare.py с функциями оценки — это не даёт ему «подкручивать» тест вместо улучшения модели. Человек пишет program.md с инструкциями, а агент за 5 минут проводит один эксперимент, оценивая val_bpb (validation bits per byte, чем ниже — тем лучше). За час выходит около 12 экспериментов, за ночь — около 100.

Результаты впечатляют: за два дня и 700 экспериментов агент нашёл 20 настоящих улучшений, которые сократили время обучения GPT-2 на 11% (с 2,02 до 1,80 часа). Одна из находок — отсутствие скалярного множителя в реализации QK-Norm, из-за чего внимание «размазывалось» по головам. Для сравнения: человек устаёт примерно после дюжины экспериментов, а цикл — нет. CEO Shopify Тоби Лютке запустил autoresearch на своей внутренней модели и получил 19% улучшения за 37 экспериментов. Вывод Карпати: если у вас есть объективная метрика, узким местом становитесь вы сами.

Статья также описывает третий, самый продвинутый уровень — Bilevel Autoresearch, где внешний агент управляет внутренним, а верификация идёт на двух уровнях одной метрики. Это даёт в 5 раз больший прирост val_bpb по сравнению с обычным циклом. Для инженерных команд собраны пять строительных блоков для создания рабочих циклов: автоматизация (запуск по расписанию/событию), скилл-файл (markdown с проектной информацией), разделение писателя и рецензента (чтобы модель не оценивала себя слишком мягко), коннекторы к реальным инструментам (трекеры, Slack) и верификатор.