Порядок слоёв в кластере дал +33% утилизации: эксперимент, который пересматривает нейросетевую архитектуру

Исследователи из Hugging Face провели эксперимент, поставивший под сомнение привычные представления о нейросетевых архитектурах. Они обнаружили, что изменение порядка слоёв внутри одного кластера (group) позволяет увеличить utilisation (степень загрузки вычислительного блока) на 33 процентных пункта, не меняя ни структуры модели, ни числа параметров.

Ключевой вывод звучит парадоксально: «Что изменилось? Порядок». Авторы утверждают, что эта простая метаморфоза в организации кластеров способна повысить эффективность использования оборудования без затрат на дообучение. Пока работа доступна на Hugging Face, полный текст исследования не раскрыт, но цифры уже привлекли внимание сообщества.