Три режима работы ИИ-агента: интерактивный, фоновый и асинхронный — и как они влияют на выбор провайдера

Эксперимент LangChain Terminal-Bench показал: смена обвязки (harness) при одной и той же модели подняла кодинг-агента с 30-го места в пятёрку лидеров. Архитектура цикла оказывается важнее выбора самой LLM. Курс «Building a Coding Agent From Scratch» от Decoding AI на примере агента Decode подробно разбирает три режима работы, каждый со своим профилем задержек и экономикой.

Первый — интерактивный онлайн: терминальный интерфейс, один сеанс в памяти, токены льются через async-генераторы. Ключевая проблема — не испортить turn, если пользователь вводит текст во время выполнения tool call. Решение — очередь с приоритетным гейтом, которая вставляет сообщение только в безопасные границы (MODEL_REQUEST, WOULD_STOP). Такой режим чувствителен к latency, поэтому оптимален для быстрых hosted API.

Второй — удалённый офлайн: headless-обвязка на сервере, агент исполняется через runtime (Kitaru на ZenML, развёрнутый в GCP, с Modal Sandboxes). Никто не смотрит в экран: очередь задач раздаётся параллельно, каждая делает свой PR. При падении песочницы шаг восстанавливается с последней записи, а пауза для ввода человека не тратит ресурсы. Здесь важна пропускная способность за доллар. Третий — асинхронный онлайн: живая сессия отдаёт работу в очередь и сразу возвращает ответ, LLM-вызовы фан-аутятся в фоне. Результаты приходят позже. Это паттерн для Slack-агентов и фонового code review — тарифицируется как batch, а не как чат.

Курс и агент Decode полностью открыты. Исходники доступны на GitHub, а в документации — выбор провайдера под каждый режим: низкая задержка для интерактива, throughput для батча, гибкость для асинхронного сценария.