Дерматолог проверил GPT-6 Astra и Claude на 200 кожных образованиях: CNN 2015 года оказалась точнее

Дерматолог Магнус Линч провёл небольшое, но показательное сравнение: взял 200 кожных образований с подтверждённым биопсией диагнозом и предложил GPT-6 Astra, Claude Fable 5.1 и дообученной свёрточной сети Inception v3 (архитектура 2015 года) выбрать один из шести вариантов диагноза.

Результаты: CNN справилась лучше всех — 125 правильных ответов из 200 (62%). GPT-6 Astra и Claude Fable 5.1 дали 84 и 85 верных диагнозов соответственно (по 42%). Особенно тревожно, что меланому на ухе обе LLM приняли за безобидный себорейный кератоз и рекомендовали отпустить пациента.

В переводе разобраны методика, результаты по каждому типу образований и отличия в ошибках моделей. Автор также перечисляет ограничения: выборка небольшая, а при другом заранее заданном пороге CNN тоже могла бы пропустить часть меланом.