AIOps поднял утилизацию GPU на 60%: опыт RWB

Даниил Понизов и Роман Лазовский из RWB рассказали, как стандартные методы контроля GPU-утилизации перестали справляться с нагрузкой. Вместо ручного разбора алертов они внедрили AIOps — автоматизированную систему, которая анализирует паттерны использования ресурсов и сама принимает решения о перераспределении задач.

Результат впечатляет: на отдельных кластерах средняя месячная утилизация GPU выросла более чем на 60%. Это не только экономит деньги на аренде или покупке железа, но и позволяет эффективнее использовать уже имеющиеся мощности, что критично для ML-инфраструктуры.