DiScoFormer: один трансформер для плотности и скора — и неважно, какое распределение

DiScoFormer (Density and Score Transformer) — новая архитектура, которая решает сразу две задачи: оценивает плотность вероятности и вычисляет градиент логарифма плотности (score). Раньше для этого требовались отдельные модели или разные подходы, теперь всё делает один трансформер.

Ключевая особенность — архитектура не привязана к конкретному типу распределения. Это значит, что DiScoFormer может работать с данными из разных доменов без переобучения под каждое распределение. Такой универсализм потенциально упрощает пайплайны в генеративных моделях, где нужны и плотность, и score — например, в диффузионных моделях или нормализующих потоках.

Пока это исследовательская работа, но если подход подтвердится на практике, он может стать шагом к более компактным и эффективным генеративным моделям. Вместо двух моделей — одна, и она понимает распределение в целом, а не только конкретный датасет.