Строим MLOps без собственной ML-платформы: разбор workflow-фреймворков на примере Netflix Metaflow

Катерина Цаплина, AI Architect в крупной промышленной компании, продолжает цикл о том, как компании реально выстраивают MLOps. После обзора архитектурных подходов и культовой платформы Uber Michelangelo она задаётся вопросом: а обязательно ли строить собственную платформу с нуля?

Для многих организаций куда разумнее использовать workflow-фреймворки (например, Netflix Metaflow) или managed-платформы облачных провайдеров. В этой статье — подробный разбор первого варианта: как Metaflow позволяет организовать ML-пайплайны без развёртывания собственной тяжёлой платформы. Managed-решениям будет посвящена следующая часть цикла.

Статья адресована тем, кто ищет золотую середину между самописной инфраструктурой и «облаком под ключ», и хочет понять, какие компромиссы несёт каждый из подходов.