Эволюция платформы OSA в «Магните»: от ручных запусков до Spark и k8s

Команда «Магнита» поделилась опытом эволюции платформы OSA (On Shelf Availability), которая помогает отслеживать доступность товаров на полках. Главный вывод: без качественного инженерного фундамента даже лучшие ML-модели не дают эффекта.

Продукт прошёл четыре стадии: от ручных запусков на Windows-планировщике («каменный век») до промышленной платформы на Spark + Kubernetes. В центре — не только алгоритмы детекции аномалий, но и транспорт данных, оркестрация, SLA, мониторинг, качество данных и доставка сигналов в торговые точки.

Статья — часть цикла об OSA, в предыдущих публикациях разбирались алгоритмы, ML-модели, A/B-тесты и оценка эффекта. Теперь — инженерный слой, без которого все эти алгоритмы остались бы просто кодом.