Эксперименты с изотропными эмбеддингами: выбор базовой модели для дистилляции (часть 1/10)

В первой части серии автор рассматривает внутренние слои нескольких моделей и выполняет «пристрелочные» эксперименты для оценки их пригодности к дистилляции в компактную 29M-модель с изотропными эмбеддингами.

Выбор базовой модели — ключевой этап, от которого зависит качество конечного результата. Предварительные тесты позволили выявить важные закономерности, которые повлияют на дальнейшую работу.

Статья ориентирована на практиков, занимающихся сжатием эмбеддингов и дистилляцией знаний. Это первая из десяти частей, так что впереди углублённый разбор техник.