Яндекс открыл код YTsaurus Flow — потоковый движок для 100+ ГБ/с без потерь и дублей

Яндекс открыл исходный код YTsaurus Flow — фреймворка для потоковой обработки данных в реальном времени. Он решает три классические проблемы: низкие задержки в высоких перцентилях при сбоях, динамическое партиционирование под меняющуюся нагрузку и гарантию exactly‑once (ни потерь, ни дублей) даже в краевых случаях. Flow — это часть платформы YTsaurus, выложенной на GitHub ещё в марте 2023 года.

Фреймворк использует хранилище, очереди и транзакции YTsaurus, чтобы автоматически управлять состоянием и восстановлением после сбоев. Разработчик пайплайна пишет только прикладную логику. Например, в высоконагруженных рекомендательных системах Яндекса Flow позволил сократить задержку поставки данных для дообучения моделей с десятка часов до примерно двух минут.

Проект создан командами Yandex Infrastructure и Яндекс Рекламы. Исходный код опубликован под лицензией Apache 2.0. Это готовый инструмент для тех, кто строит пайплайны реального времени с жёсткими требованиями к надёжности и повторяемости.