IMLE: как генеративные модели учатся не пропускать моды

Генеративные модели часто страдают от проблемы пропуска мод (mode collapse), когда они воспроизводят лишь часть распределения данных, игнорируя редкие, но важные варианты. IMLE (Implicit Maximum Likelihood Estimation) предлагает альтернативный подход к обучению, который явно борется с этим недостатком.

В отличие от стандартного maximum likelihood, который максимизирует вероятность всех точек данных, IMLE для каждого реального примера находит ближайший к нему сгенерированный и подтягивает генератор к этому реальному примеру. Это гарантирует, что ни одна мода не останется без внимания — генератор вынужден покрывать всё многообразие данных.

На практике обучение через IMLE выглядит так: на каждом шаге мы фиксируем генератор, сэмплируем из него набор объектов, для каждого реального объекта находим ближайший сгенерированный (в некотором метрическом пространстве) и обновляем генератор так, чтобы уменьшить расстояние до этого реального объекта. Метод прост в реализации и не требует сложных adversarial-схем.