ИИ для КТ головы: AUC 0.93, но модель «видит» только костное окно — разбор подвоха

На Хабре опубликован разбор исследовательского прототипа, который ищет кровоизлияния на КТ головы. Нейросеть обучалась в бесплатном Google Colab на видеокарте Tesla T4. Автор сразу отмечает: это не медицинское изделие, а эксперимент.

Первые результаты впечатляли: на первом фолде AUC достиг 0.963. Полная проверка снизила показатель до 0.931, но главный сюрприз ждал дальше. Модель, которая видела только костное окно (где мозга почти не видно), всё равно выдала AUC 0.86 — это заставляет усомниться, что нейросеть действительно находит кровоизлияния, а не подстраивается под артефакты.

В статье подробно разбирается, откуда берутся такие цифры, на что на самом деле ориентируется модель и что показывают маски, размеченные врачами. Материал будет полезен всем, кто работает с медицинскими изображениями и хочет избежать ложных выводов из-за переобучения или смещения данных.