Бристольские исследователи хотят тестировать медицинский ИИ как лекарства: три уровня проверки

Исследователи Бристольского университета предлагают сделать медицинские ИИ-системы безопаснее, заимствуя процедуры из фармацевтики. Их фреймворк Learning Ensemble определяет три ключевые области проверки, которые должны выявить модели, дающие сбои на практике, даже если они показывают хорошие результаты на тестах.

Первая область — системные ограничения: где и при каких условиях модель может ошибаться. Вторая — справедливость: работает ли алгоритм одинаково хорошо для разных групп пациентов по возрасту, полу и этносу. Третья — клиническая пригодность: насколько предсказания модели соответствуют реальной врачебной логике и не противоречат назначениям.

По словам авторов, текущие методы валидации ИИ часто упускают ситуации, когда модель статистически точна, но клинически опасна — например, пропускает редкое заболевание у нетипичного пациента. Learning Ensemble призван закрыть эту брешь, адаптируя давно работающие механизмы контроля из мира лекарств.