Как удешевить дистилляцию знаний для LLM: новый подход для масштабного обучения

Дистилляция знаний — ключевая техника для создания компактных и эффективных LLM, но её применение в масштабе часто упирается в высокую стоимость. Новая работа, опубликованная на Hugging Face, предлагает подход, который делает дистилляцию «дешёвой» и пригодной для запуска на больших объёмах данных без потери качества.

Авторы детально описывают оптимизации, включающие эффективное использование учительской модели, адаптивную выборку данных и упрощённые функции потерь. Результаты показывают, что предложенный метод позволяет добиться сопоставимой производительности студенческой модели при кратно меньших вычислительных затратах, что открывает путь к более широкому внедрению дистилляции в индустрии.