LoRA на «умных» слоях: проверка теории — результат неожиданный

При LoRA-дообучении адаптеры обычно применяют ко всем слоям модели, хотя активность разных слоев при обработке промпта различается. Возникла гипотеза: если выбрать более «умные», активные слои для конкретной темы, можно улучшить результат.

Исследователь воспроизвёл метод Act-LoRA на модели Qwen3-1.7B, добавил собственную метрику на основе градиентов и статистически проверил устойчивость сигнала. Результат оказался неожиданным: улучшения не произошло, что дало новое понимание того, как на самом деле работает LoRA-дообучение.