Градиентный бустинг: как машина учится на своих ошибках и почему это до сих пор актуально

Градиентный бустинг — не просто очередная кнопка в sklearn. Его суть в итеративном исправлении ошибок: каждая новая модель учится на остатках предыдущей, двигаясь в сторону антиградиента. Это даёт высокую точность на табличных данных, где глубокое обучение часто проигрывает.

В основе лежат деревья решений небольшой глубины: они слабы по отдельности, но в ансамбле с бустингом компенсируют друг друга. Ключевой трюк — каждое новое дерево фокусируется на ошибках предыдущих, постепенно снижая общую ошибку.

Хотя появились более экзотические методы (нейросетевые бустеры, Attention-бустинг), классический градиентный бустинг (XGBoost, LightGBM, CatBoost) остаётся бенчмарком для задач регрессии и классификации на структурированных данных. Статья объясняет теорию и практику — от остатков до регуляризации.