Как сэкономить память на RTX 5090: снижаем размерность эмбеддингов с 768 до 512 через QR-разложение

Выходная проекция EmbeddingGemma 2 имеет ранг 512, хотя штатный эмбеддинг содержит 768 координат. Авторы использовали QR-разложение этой проекции, чтобы перевести векторы в 512-мерное пространство без потери косинусного сходства.

Эксперименты проводили на RTX 5090 с корпусами MS MARCO до пяти миллионов документов. QR-прямое преобразование (QR-direct) снизило пик памяти процесса с 15,88 до 11,11 ГиБ. Полная задержка одного запроса изменилась с 36,19 до 34,80 мс, а батча из 32 — с 50,62 до 44,97 мс.

Результаты сравнили со штатным MRL-уменьшением размерности. Качество поиска проверили на бенчмарках SciFact и FiQA. В статье подробно разбирается устройство преобразования и границы применимости метода.