На бесплатном Colab собрали модель ретинопатии с QWK 0.834, но всё испортила утечка данных

Для диагностики диабетической ретинопатии автор собрал модель, которая анализирует снимок глазного дна и одновременно получает клинические показатели пациента. На отложенном тесте первый запуск выдал отличный результат — QWK 0.834.

Однако при разборе выяснилось, что клинические признаки содержат «ответ» — модель просто запомнила связь между симптомами и стадией болезни. Поставили три контрольных эксперимента, в том числе обучили модель только на снимках. Её QWK упал до 0.713, что ближе к реальной точности.

Автор подробно описал пайплайн и способы обнаружения такой утечки — полезный урок для тех, кто строит медицинские ML-решения на смешанных данных.