Исследования
Почему ИИ-судья опасен: разбор на цифрах и реальных ошибках
Специалист по безопасности проверил идею передать правосудие нейросети. Оказалось, что даже при доле ложных совпадений 0,1% в городе с 10 миллионами человек система почти всегда укажет на невиновного — простой расчёт на Python это подтверждает. Автор разобрал реальные кейсы ошибочных арестов, где ИИ подводил, и алгоритм COMPAS, который предсказывает рецидив, но оказался предвзятым.
Затем он прикинул, как мог бы выглядеть честный ИИ-судья, и посмотрел, что современные модели вытворяют на тестах: они легко поддаются манипуляции, не понимают контекст и повторяют предубеждения из данных. Вывод: пока ИИ не способен заменить человека в суде — цена ошибки слишком высока.
Источник: habr.com