Perplexity представила pplx-embed-v2-context-9b-preview: контекстуальные эмбеддинги для RAG с поиском подтверждений

Perplexity Research совместно с turbopuffer выпустили pplx-embed-v2-context-9b-preview — контекстуальную эмбеддинг-модель для RAG-пайплайнов. Главное отличие от обычных эмбеддингов: каждый чанк кодируется с учётом всего документа, а обучение нацелено на то, чтобы модель находила не один «золотой» пассаж, а сразу ответ и контекст, позволяющий его проверить. Это решает классическую проблему RAG, когда чанк зависит от сущности или определения из другого места документа.

Обучение построено на дистилляции: учитель — query-aware модель сжатия контекста от Perplexity — оценивает релевантность каждого токена. Для каждого чанка берётся среднее top-n токенов, затем через temperature-scaled softmax формируется мягкая цель. Дистилляция использует forward KL-дивергенцию, а документный loss — InfoNCE с выбором лучшего чанка (как в ColBERT MaxSim). Каждый батч использует случайную стратегию нарезки чанков, что повышает робастность.

Модель построена на базе внутренней 9B ColBERT-модели для поиска. Выходной слой — линейная проекция в 2048 измерений, с поддержкой Matryoshka-обучения для 1024 измерений и нативной int8 квантизацией. Веса выложены на Hugging Face под лицензией MIT. Для загрузки требуется transformers >= 5.4.0 с trust_remote_code=True. Обучение проводилось на ~430 датасетах, покрывающих более 50 языков (без ConTEB).

Важно: это preview-релиз — модель пока не доступна через API Perplexity, веса и интерфейс могут меняться без обратной совместимости. Сама модель — «суп» из нескольких чекпоинтов. Учитель запускается только на этапе обучения, поэтому инференс не добавляет задержек или дополнительного хранения.