Cohere выпустила Embed 5: Pro и Fast делят одно векторное пространство и обходят Voyage и Gemini

Cohere представила семейство эмбеддинг-моделей Embed 5: версию Pro для максимального качества поиска и Fast для низкой задержки на живых запросах. Обе принимают текст, картинки и их связку, поддерживают более 100 языков и контекст до 128K токенов. Модели уже доступны через Cohere API, Model Vault, Microsoft Foundry и Amazon SageMaker, а для приватного размещения — через vLLM.

Главная фишка — у Pro и Fast общее векторное пространство: можно индексировать корпус моделью Pro, а искать по нему моделью Fast. По замерам Cohere, связка «индекс Pro + запрос Fast» даёт 98,4% от качества Pro+Pro, а полностью Fast-сетап — 96,6%. При этом Fast обрабатывает 377,3 документа в секунду против 159,7 у Pro — это критично для агентных сценариев, где на задачу приходится десятки поисков.

На бенчмарке ViDoRe V3 Embed 5 Pro набирает 85,8 (плюс 8,8 к Embed 4), Fast — 84,5. Для сравнения: Voyage 4 Large — 83,7, Gemini Embedding 2 — 83,2, OpenAI text-embedding-3-large — 75,5. Особенно сильны финансы: Pro лидирует на FinanceBench (80,1), FinQA (90,0) и ViDoRe V3 Finance (85,0). В мультиязычности картина смешанная: Pro впереди по европейским языкам, но Gemini Embedding 2 обходит его на 9 из 10 более редких языков.

Embed 5 использует матрёшечное представление и пониженную точность выходных векторов: от 2048 измерений float32 (8 КБ на вектор) до 256 измерений binary (32 байта). Для 100 млн чанков объём хранения падает с ~819 ГБ до 3,2 ГБ. Цены: $0,12 за 1M текстовых токенов для Pro, $0,08 для Fast, изображения — $0,40 за 1M токенов на обеих версиях. Правда, большинство цифр получены с помощью новой метрики RCP-nDCG@10, которая оценивает качество реранжирования, а не первичного поиска, и независимого воспроизведения результатов пока не было.