Perplexity выпустила pplx-embed-v2-late: две мультимодальные модели эмбеддингов с открытой лицензией

Perplexity AI выпустила pplx-embed-v2-late — семейство мультимодальных эмбеддинговых моделей в архитектуре ColBERT. В серии две версии: лёгкая на 0,6B параметров (активных ~240M для текста и 340M для изображений) и тяжёлая на 9B (7,4B активных). Обе модели работают с текстом, изображениями и отрендеренными PDF-страницами в едином пространстве эмбеддингов. Модели выложены на Hugging Face под лицензией MIT, что разрешает коммерческое использование. Хостинг через API Perplexity пока в планах, но модель можно развернуть самостоятельно.

Ключевая особенность — подход с одним вектором на токен размерностью 128, что в 16–32 раза уже, чем у конкурентов (2048–4096). Это позволяет искать по индексу, построенному 9B-моделью, с помощью лёгкой 0,6B-модели, восстанавливая примерно половину разрыва в качестве при тех же затратах на запрос. На бенчмарке MADQA (агентный QA по PDF) 9B-версия показала 92,4%, обойдя Mixedbread (88,9%), но уступив Mixedbread Agentic Search (93,4%). На ViDoRe v3 по поиску изображений 9B набрала 65,2%, а 0,6B — 62,3%, что близко к nemotron-colembed-v2-8b, но лидирует Tencent EVIE.

Слабые стороны: размер индекса растёт с длиной документа (один вектор на токен), модель не умеет смешивать текст и изображения в одном запросе, а все результаты — самоотчётные, технического отчёта пока нет. Perplexity дистиллировала обе модели из 18B-учителя с помощью LEAF-тренировки на уровне токенов. Лучший сценарий применения — визуальный поиск по PDF, слайдам и отчётам, а также агентный RAG с низкой задержкой: индекс в облаке на 9B, запросы на устройстве на 0,6B.