Разжевали матричное дифференцирование для ML: градиент, якобиан и линейная регрессия без боли

Многие новички в ML сталкиваются с тем, что тема матричного дифференцирования разбросана по сложным учебникам или неполным статьям. Один из энтузиастов решил эту проблему: он потратил более 4,5 часов, чтобы собрать в одном месте простое и структурированное объяснение градиента, якобиана и того, как это используется в линейной регрессии.

В статье разобраны основные понятия, приведены примеры вычислений и показано, как матричные производные помогают обучать модели. Автор надеется, что этот гайд станет последним, на котором кто-то «затупит» по этой теме.

Материал будет полезен тем, кто хочет глубже понять математику machine learning, но теряется в абстрактных формулах. В комментариях можно указать на ошибки или предложить улучшения.