Google представила TabFM: zero-shot модель для табличных данных с гибридным вниманием

Google Research представила TabFM — фундаментальную модель для табличных данных, способную выполнять классификацию и регрессию без какого-либо обучения на конкретном датасете. Каждое предсказание делается за один прямой проход: модель переформулирует задачу как обучение в контексте, читая всю таблицу как единый промпт. Это избавляет от подбора гиперпараметров и ручного конструирования признаков.

Архитектура TabFM объединяет подходы TabPFN (внимание по строкам и столбцам) и TabICL (контекстное обучение). Модель обучалась на сотнях миллионов синтетических датасетов, сгенерированных с помощью структурных каузальных моделей (SCM), что позволило ей обобщать на реальные данные без доступа к проприетарным таблицам.

TabFM уже доступна на Hugging Face и GitHub. Google также анонсировала интеграцию с BigQuery: скоро появится SQL-команда AI.PREDICT, которая позволит использовать модель прямо в запросах к корпоративным данным. На бенчмарке TabArena (Elo-рейтинг по 38 датасетам классификации) модель показала конкурентоспособные результаты.