Математики из MIT нашли ошибку в градиентном спуске: вектор и ковектор нельзя складывать

Градиентный спуск — основа обучения нейросетей, но с точки зрения линейной алгебры в нём скрыта ошибка. При обновлении весов мы складываем вектор и ковектор, что математически некорректно. Авторы из MIT CSAIL показали, почему это имеет значение, и предложили формальное исправление.

Решение лежит в теории двойственности и модулей: исследователи переформулировали операцию обновления так, чтобы она соответствовала правильной алгебраической структуре. Это не просто академический курьёз — исправление может улучшить сходимость и устойчивость обучения.

Работа пока теоретическая, но закладывает основу для более строгих оптимизационных методов в глубоком обучении. Пока неизвестно, приведут ли эти идеи к практическим ускорениям, но сама постановка вопроса заставляет пересмотреть устоявшиеся практики.