NVIDIA выпустила Kumo Tabular — открытые табличные модели, предсказывающие новые строки за один проход

NVIDIA выпустила Kumo Tabular — новое семейство фундаментальных моделей для табличных данных (TFM), предназначенных для задач классификации и регрессии. Модели работают по принципу in-context learning: они принимают размеченные строки как контекст и предсказывают новые строки за один прямой проход, без обучения, настройки гиперпараметров или инженерии признаков. Доступны три версии: Small, Medium и Large, от 28 до 215 миллионов параметров.

Модели распространяются через открытую библиотеку NVIDIA structured-data-models (SDM) под лицензией OpenMDW-1.1, разрешающей коммерческое использование. Код библиотеки — Apache-2.0, требуется Python 3.11+ и PyTorch 2.7+, примеры рассчитаны на CUDA GPU. SDM также включает TabICLv2, TabFM от Google и KumoRelational для многотбличных данных, все с единым интерфейсом in-context learning на основе контейнера TableTensor.

Архитектура Kumo Tabular — Transformer, учитывающий структуру таблицы через три типа внимания: колоночное, строчное и контекстное. Встраивание ячеек использует изученные признаки Фурье для числовых и категориальных значений, пропуски не требуют импутации. Строчное внимание с ротационными позициями обучает взаимодействия признаков, а 4 обучаемых токена [CLS] сжимают каждую строку. Финальный Transformer обрабатывает вложения строк: контекстные строки взаимодействуют друг с другом, а запросы — только с контекстом, что позволяет однократно вычислить ключи и значения контекста.

Для масштабирования на большие таблицы используется адаптивная температура: каждый запрос масштабируется температурой, растущей с логарифмом числа ключей, с обучаемым коэффициентом на голову внимания. Выходной слой выдаёт вероятности классов или 999 квантилей для регрессии, что даёт точечное предсказание и оценку неопределённости.