Perplexity выпустила WANDR — открытый бенчмарк для агентов, которые ищут широко и глубоко

Perplexity AI выпустила WANDR (Wide ANd Deep Research) — открытый бенчмарк для оценки исследовательских агентов. В отличие от большинства тестов, которые проверяют один ответ, WANDR состоит из 500 реалистичных задач на сбор данных. Каждая задача требует найти множество сущностей (широта) и подтвердить каждую из них источниками (глубина).

Бенчмарк использует иерархию квалификационных ключей. Например, задача ceo_cfo_appointments требует найти минимум 70 компаний из США, у которых назначение CEO или CFO было объявлено с 1 марта по 30 апреля 2026 года. Для каждой нужно предоставить страницу с назначением и страницу-листинг — всего 140 записей с источниками. Медианная задача требует 50 сущностей и 245 записей; во всех 500 задачах — 170 495 записей с источниками.

Оценка идёт по каждой записи: градер перепроверяет страницу, убеждается, что выдержки действительно есть и подтверждают требования. Метрики: Precision (качество), Recall (полнота с учётом качества), Soft F1 (частичный кредит) и Hard F1 (только полностью верные поддеревья). Perplexity прогнала шесть продакшн-систем: лидирует её собственная Search as Code, но ни одна не решила бенчмарк полностью.

WANDR — «широкий» брат бенчмарка DRACO (глубокие исследования). DRACO проверяет качество длинного отчёта, а WANDR — способность собрать большую коллекцию с доказательствами. Задачи построены на обезличенных паттернах из реального использования Perplexity, а не на синтетике.