VK Видео разделила рекомендательный пайплайн на стримы: инженерный опыт

Рекомендательный пайплайн VK Видео решал сразу несколько разных задач, что приводило к нетривиальным взаимосвязям. Со временем улучшать элементы системы по отдельности стало трудно — изменения в одной части затрагивали другие.

Решение назвали стримами: один большой пайплайн разбили на несколько специализированных поменьше. У каждого стрима своя задача и конфигурация, так что команды могут дорабатывать отдельные составляющие, не задевая соседние.

Подход уже внедрён в VK Видео, а затем через внутреннюю платформу стал доступен и для других продуктов VK. Для пользователей изменения незаметны — ценность исключительно инженерная.