Prime Intellect представила Verifiers v1: модульная архитектура для агентного RL и eval

Prime Intellect запустил verifiers 0.2.0, а затем представил переработанное ядро под новым namespace verifiers.v1. Если раньше среда bundlила данные, логику агента и инфраструктуру вместе, то v1 разбивает всё на три независимых компонента: taskset (определяет данные, инструменты и скоринг), harness (решает задачу и формирует rollout — например, ReAct-цикл или CLI-агент) и runtime (локальная или песочница). Такая декомпозиция позволяет запускать любой taskset с любым совместимым harness.

Центральный элемент архитектуры — interception server, управляемый verifiers. Он служит прослойкой между runtime агента и inference-сервером: проксирует запросы и ответы, записывает трассировку, задаёт параметры сэмплирования и может переписывать ответы инструментов для защиты от reward hacking. Каждый сервер мультиплексирует 32 rollout по умолчанию, а пул эластично масштабируется под фактическую нагрузку.

Для оценки используется EvalClient (слепой HTTP-прокси), для обучения — TrainClient с рендерерами для точного token-in RL. Verifiers v1 поддерживает три диалекта API: OpenAI Chat Completions, OpenAI Responses и Anthropic Messages. Адаптер диалектов нормализует каждый формат в канонические типы vf.types, поэтому логика скоринга остаётся независимой от тестируемого агента.