Физический подход к прунингу LLM: удаление блоков как задача Изинга

Новый метод прунинга LLM заимствует идеи из статистической физики: удаление каждого блока трансформера рассматривается как спин в модели Изинга, который может быть в состоянии «оставить» или «удалить». Энергия системы учитывает взаимодействие между блоками — это позволяет найти оптимальный набор блоков для удаления, минимизируя потери в производительности.

Авторы протестировали подход на нескольких моделях и показали, что он даёт лучшее соотношение «сжатие/точность» по сравнению с традиционными эвристиками. Метод не требует дополнительного обучения и может быть применён постфактум к уже обученным моделям.

Практическая ценность — ускорение инференса и уменьшение требований к памяти без переобучения. Исследование опубликовано на Hugging Face как открытый код.