TabPFN-3.5 от Prior Labs бьёт победителя Kaggle Otto на дефолтных настройках
Prior Labs представила TabPFN-3.5 — новую версию своей табличной фундаментальной модели. Она делает предсказания на таблице за один прямой проход, без обучения под конкретный датасет. По заявлению компании, модель занимает первое место на семи табличных бенчмарках, а отдельная демонстрация показывает, что она превосходит победное решение знаменитого соревнования Kaggle 2015 года.
Речь про Otto Group Product Classification Challenge: 3505 команд боролись за $10 000, сортируя товары по 93 признакам в 9 категорий. Победители — Гилберто Титерич и Станислав Семёнов, оба бывшие №1 в рейтинге Kaggle Grandmaster, — построили многослойный стек из 36 моделей на ручных фичах. Ник Эриксон, соавтор AutoGluon и исследователь Prior Labs, годами охотился за этим результатом: AutoGluon поднимался с 23-го места в 2020-м до 9-го в 2026-м. TabPFN-3.5 набирает 0.375 log loss на приватном лидерборде против 0.382 у победителя — на сырых данных, дефолтных настройках и за минуту на RTX PRO 6000. Модель обучалась только на синтетике и никогда не видела Otto.
В техническом отчёте — первое место на TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT и ScoringBench. На TabArena (живой бенчмарк из 51 датасета) версия Thinking набирает 1910 Elo, базовая — 1866, обходя TabFM+ (1823). При этом базовая модель обгоняет AutoGluon 1.6 extreme на 130 Elo, тратя в пять раз меньше времени. На срезах с группировкой, временными рядами и большими данными по-прежнему сильны настроенные ансамбли MLP.
Внутри — заметные изменения: ширина трансформера выросла с 512 до 1024 измерений, параметров стало 220M вместо 53M. Один чекпоинт теперь закрывает и классификацию, и регрессию. Новые кодировки ячеек используют изученные признаки Фурье и ранги ECDF, устойчивые к монотонным преобразованиям вроде логарифма. Упрощена предобработка: убраны квантильные преобразования и SVD. Модель тянет до 1 млн строк, рекомендовано 6000 признаков, поддерживается 20000. Кэш KV остался прежним, скорость одиночных предсказаний не изменилась, но на больших обучающих выборках базовая модель до 2 раз медленнее предшественницы. Веса открыты для исследований и Kaggle, для продакшена — API или коммерческая лицензия.