LLM против XGBoost: почему языковые модели неожиданно оказались сильны в регрессии

Регрессия — это задачи, где на входе набор признаков, а на выходе одно число. Такие прогнозы кормят половину экономики: стоимость недвижимости, сроки логистики, посещаемость магазинов, потребление дата-центров. Последние 15 лет стандартом в этой области был XGBoost — ансамбль последовательных решающих деревьев, который задаёт около двадцати вопросов («Район дорогой?», «Комнат больше трёх?») и после каждого уточняет ответ.

XGBoost работает быстро, стоит копейки и понятен руководству. Однако недавно выяснилась неожиданная вещь: большие языковые модели (LLM), которые обычно пишут письма и генерируют креатив, тоже умеют решать регрессию, причём иногда точнее. Статья на Habr разбирает, почему так происходит: LLM улавливают сложные нелинейные зависимости и текстурные признаки, которые бустинги могут пропускать.

Цена вызова LLM выше, но точность может оправдать затраты в критических сценариях. Это открытие заставляет пересмотреть архитектуру прогнозных систем: возможно, в будущем комбинация XGBoost и LLM даст лучший результат, чем каждый по отдельности.