«Спорт, борщ, крипта»: как мы чинили интересы в рекомендательной системе и подняли ROC-AUC с 0.52 до 0.80

В рекомендательной системе пользователь указывает интересы текстом, и система превращает их в один эмбеддинг. Однако такой признак работал не лучше подбрасывания монеты: ROC-AUC 0.52, а на коротких интересах — 0.41, то есть хуже случайного порядка.

Чтобы исправить ситуацию, инженеры прогнали шесть вариантов починки — от изменения агрегации эмбеддингов до альтернативных способов обработки текста. В итоге качество подняли до 0.80. В статье автор разбирает, что сработало, а что нет.