Как «Магнит» внедрил CI/CD для прогнозов спроса на Airflow: релизы с терабайтами данных и дежурный дата-сайентист

«Магнит» поделился кейсом построения CI/CD для данных и моделей прогнозирования спроса. В отличие от классической разработки, артефактом сборки здесь выступает не бинарник, а код вместе с терабайтами уже рассчитанных таблиц. Для этого используются штатные возможности Airflow, Spark и Delta Lake.

Система включает все этапы: окружения (стейдж), процедуру релиза и механизм отката — как в обычной CI/CD. При этом ключевое отличие в том, что кнопку «выкатить в прод» нажимает не инженер данных, а дежурный data scientist, что меняет роли и ответственность в процессе.