Google Research представила SensorFM: модель здоровья, обученная на триллионе минут сенсорных данных с 5 миллионов человек

Google Research выпустила SensorFM — основу для носимых устройств, обученную на колоссальном датасете: 1 триллион минут (свыше 2 миллиардов часов) сенсорных данных от 5 миллионов человек из 100+ стран. Модель использует 34 минутных признака с пяти датчиков (PPG, акселерометр, EDA, температура кожи, альтиметр), свёрнутых в семь категорий, и обрабатывает 24-часовое окно через ViT-1D-энкодер с маскированным автоэнкодером. Доступны четыре варианта — от 138 тыс. параметров (XXS) до 110 млн (B) — каждый масштабирован пропорционально объёму данных.

Тестирование на 13 985 участниках трёх проспективных исследований (метаболизм, сердце/дыхание, сон, психика) показало, что SensorFM-B выигрывает 33 из 35 задач, а реконструктивная ошибка снижается на 31% по сравнению с самой маленькой версией. Прирост AUC на классификации — 0,09, корреляции Пирсона на регрессии — 0,21. Ключевой вывод: масштаб модели и данных должны расти синхронно — попытка обучить большую модель на малом объёме приводит к переобучению.

Отдельная инновация — Adaptive and Inherited Masking (AIM), которая не отбрасывает и не подменяет пропуски в реальных данных (зарядка, снятие часов, энергосбережение), а использует саму маску пропусков как сигнал. В итоге модель на 74,8% лучше восстанавливает случайные пропуски и на 83,7% — сенсорные сигналы, чем лучшие линейные интерполяции и нейросетевые заполнители. При этом генеративные задачи (импутация, прогнозирование) решаются «бесплатно» — как побочный продукт обучения.

SensorFM доступна в виде открытой публикации на arXiv, а веса и код, вероятно, появятся позже. Для индустрии носимых устройств это шаг к универсальной базовой модели, которая заменяет десятки узких классификаторов и избавляет от дорогостоящей разметки — достаточно просто собирать поток данных с Fitbit или Pixel Watch.