Nums AI выпустила Causilo: табличная модель без обучения, которая обходит гигантов на TabArena

Nums AI выпустила Causilo — предобученную табличную модель для классификации и регрессии. Модель работает через in-context learning: вызов fit не обновляет веса, а сохраняет обучающие строки как контекст и предсказывает все запросы за один проход. Код распространяется под Apache-2.0, веса доступны на Hugging Face, есть scikit-learn интерфейс.

На TabArena Causilo показала наивысший Elo среди одиночных моделей: 1792,9 — обогнав TabFM (1764,4) и EXAONE Tabular (1758,8). В регрессии отрыв больше: 2032,6 против 1992,8 у TabFM. Мейнтейнер бенчмарка перепроверил результаты и подтвердил общий Elo 1794. Вместе с системами модель занимает 3-е место из 88.

Архитектура Causilo делится на три фазы: refinement, compression и in-context learning. Признаки группируются по три, каждая группа сжимается через 128 латентных слотов, затем row stage с cross-attention позволяет группам взаимодействовать. После пулинга в 512-мерный вектор, 12-слойный блок предсказания обрабатывает запросы. По умолчанию 8 ансамблевых членов с разными нормализациями.

Модель обучалась только на синтетических данных, без датасетов TabArena. На ScoringBench (101 датасет, 5 фолдов) Causilo заняла первое место по CRPS, R² и RMSE. В тесте на одном H100 модель оказалась быстрее TabICLv2 и TabPFN-3 по скорости fit и predict, но использует больше GPU-памяти (8,15 ГБ против 0,88 ГБ у TabPFN-3). Для коммерческого использования нужна отдельная лицензия от Nums AI.