Нейросеть для МРТ и КТ: NeuroVFM учится на 5,24 млн клинических снимков без единой разметки

Университет Мичигана опубликовал в Nature Medicine модель NeuroVFM, которая решает давнюю проблему: клинические снимки мозга почти не встречаются в открытых интернет-данных из-за требований приватности, поэтому универсальные модели плохо справляются с задачами нейровизуализации. NeuroVFM обучалась на 5,24 млн МРТ и КТ-объемов из 566 915 исследований базы UM-NeuroImages, охватывающей более 20 лет рутинной помощи в Michigan Medicine. Подход назван «обучением от системы здравоохранения» — модель учится на некурированных данных, генерируемых в процессе нормальной клинической работы, без привязки к отчётам радиологов или специфическим диагнозам.

Базовая архитектура — Vol-JEPA, расширение методов I-JEPA и V-JEPA на объёмные медицинские изображения. В отличие от традиционных подходов, Vol-JEPA не реконструирует пиксели, а предсказывает представления в скрытом пространстве, используя самоконтролируемое обучение без меток, текста и декодера вокселей. Сначала каждый 3D-объём токенизируется в непересекающиеся патчи 4×16×16 вокселей, затем делится на малый видимый контекст (25% для МРТ, 20% для КТ) и большую маскированную область. Студенческий энкодер обрабатывает контекстные патчи, предиктор комбинирует скрытые представления с позиционными кодировками целей и предсказывает скрытые представления маскированной области, а учительский энкодер (экспоненциальное скользящее среднее студента) генерирует эталонные латентные векторы. Маскирование фокусируется на переднем плане с помощью предрассчитанных масок головы.

Обучение минимизирует smooth L1-функцию потерь между предсказанными и эталонными латентными представлениями, с остановкой градиента через учителя. Такая архитектура заставляет энкодер моделировать общую нейроанатомию, а не фоновые артефакты. Результаты показывают, что NeuroVFM значительно превосходит существующие общие модели на задачах нейровизуализации, демонстрируя потенциал для диагностики, планирования лечения и исследований — и всё это без единой ручной разметки.