Liquid AI открыла способ вылечить модели от «петли смерти» — дообучение на одном токене

Команда Liquid AI представила Antidoom — метод, который решает проблему doom loop: когда модель повторяет один фрагмент текста снова и снова, пока не исчерпает контекст. Особенно этим страдают небольшие модели рассуждений на сложных задачах.

Суть подхода — найти точку, где начинается цикл, и переучить модель предпочитать осмысленные альтернативы именно на этой позиции. Это не меняет ответы на остальных токенах — технология называется FTPO (Final Token Preference Optimization), близкая к DPO. После дообучения на датасете LiquidAI/antidoom-mix-v1.0 у модели LFM2.5-2.6B частота зацикливаний упала с 10,2% до 1,4%, а у Qwen3.5-4B — с 22,9% до 1%. Все показатели качества выросли исключительно за счёт устранения пустых повторений.

Сами петли, как выяснили авторы, возникают из-за трёх механизмов: слишком «затёртые» токены-маркеры (вроде «the», «So», «Alternatively»), которые модель выбирает в неуверенности; контекст, который усиливает повтор, пока простое жадное дискретизация при низкой температуре не даёт из него выйти. Antidoom — не широкое изменение стратегии дискретизации, а прицельный фикс, работающий за несколько часов. Исходный код открыт.