Мы хуже понимаем нейросети, чем нейробиологи 60 лет назад понимали мозг — и вот доказательство

В конце 1950-х Хьюбел и Визель в Гарварде втыкали электрод в зрительную кору кошки и показывали ей полоски света через слайд-проектор. Никаких компьютеров — только аналоговые приборы. Но именно так они открыли нейроны, избирательно реагирующие на ориентацию, и получили Нобелевскую премию. Сегодня мы можем заглянуть в любой уголок нейросети: веса, активации, градиенты — всё доступно. Однако что именно происходит внутри модели, понимаем хуже, чем те учёные понимали мозг.

В свежем препринте «From Interpretability Methods to Interpretable Models» авторы подводят неутешительный итог 15 лет исследований Explainable AI (XAI) в компьютерном зрении. Всё это время учёные улучшали методы объяснения, сравнивали их, проверяли на достоверность и устойчивость к манипуляциям. Но ключевой вопрос задавали редко: стала ли модель после всех этих усилий хоть немного понятнее человеку? Ответ, судя по статье, скорее отрицательный.