TimesFM-3 от Google: одна модель прогнозирует сразу все связанные временные ряды

Раньше все версии TimesFM были унивариантными: модель смотрела на историю одного ряда и предсказывала его будущее. В реальности всё сложнее — продажи мороженого зависят от погоды, трафика, промоакций и продаж других товаров. TimesFM-3 обучена на более чем триллионе временных точек и принимает сразу несколько целевых рядов, прошлые ковариаты и ковариаты с известным будущим (например, календарь праздников). Никакого дообучения под задачу не требуется.

Архитектура осталась decoder-only transformer, но с важными изменениями. Точки группируются в патчи по 32 шага и нормализуются отдельно по каждому ряду. Затем токены попадают в двумерную сетку и проходят через два чередующихся механизма внимания: каузальное по времени (строго горизонтальное, без заглядывания в будущее) и полное по переменным (вертикальное — модель видит все ряды в текущий момент). Вместо медленного декодирования патч за патчем TimesFM-3 использует маскирование смежных патчей и заполняет весь горизонт прогноза одновременно, выдавая для каждого шага девять квантилей — с 10-го по 90-й перцентиль.

На бенчмарках модель занимает первое место среди предобученных foundation-моделей по среднему рангу: на fev-bench — №1 из 100 реальных задач, на TIME — №1 из 50 доменов и 98 задач, на GIFT-Eval — №1 среди foundation-моделей. Конкуренты — Chronos-2, семейство Toto 2.0 и TimesFM-2.5 — остались позади по точечным и вероятностным метрикам.

Есть нюанс с распространением: код репозитория TimesFM открыт под лицензией Apache-2.0, а вот веса модели TimesFM 3.0 — только под некоммерческой лицензией. Поэкспериментировать и протестировать можно хоть сейчас, а вот встроить в продовый прогнозный API не выйдет.