Ozon научился переносить ML-эксперименты между кластерами за 60 секунд

ML-платформа Ozon ежедневно используется дата-сайентистами и ML-инженерами для экспериментов и обучения моделей. Однако разные этапы рабочего процесса требуют разных вычислительных мощностей, и выполнять всё на одном кластере неэффективно.

Чтобы обеспечить бесшовный переход между кластерами, команда разработала механизм, который упаковывает эксперимент (код, зависимости) в лабораторном окружении и разворачивает его в промышленном за 60 секунд.

Это позволяет пользователям быстро перемещать эксперименты между стадиями, не теряя времени на настройку окружения и не жертвуя производительностью. Подробности реализации и выводы — в статье команды Ozon.