Как сжать эмбеддинги в 6 раз: дистилляция DeepPavlov в 29M-модель для CPU

Начинается цикл статей о том, как сделать компактную русскоязычную модель эмбеддингов для семантического поиска, дедупликации и кластеризации. Цель — ужать 180-миллионного учителя DeepPavlov в 29-миллионного студента на базе turbo с доработанной головой, чтобы модель работала на обычном CPU.

В планах — разобраться с attention pooling, дистиллировать семантику учителя, побороть анизотропию и слепоту к отрицаниям. В нулевой части — постановка целей, метрики успеха и план всей серии.