Authors Guild проверила детекторы ИИ: Grammarly и Pangram безошибочны, ZeroGPT провалилась на каждом тексте

Authors Guild провела собственное тестирование пяти детекторов ИИ, проверяя, насколько точно они отличают человеческий текст от машинного. Результаты оказались полярными: Pangram и Grammarly верно идентифицировали все присланные образцы, а Sidekicker и ZeroGPT ошиблись на каждом — все человеческие статьи были помечены как сгенерированные ИИ.

Организация предупреждает о фундаментальном парадоксе: профессионально написанные тексты статистически неотличимы от вывода современных LLM, потому что именно такие тексты были основой обучающих данных. Это ставит под вопрос саму идею надёжной детекции ИИ — чем лучше текст, тем выше вероятность ложноположительного срабатывания.

Исследование наглядно демонстрирует, что доверять детекторам вслепую нельзя: одни работают безупречно на конкретной выборке, другие — бесполезны. Проблема усугубляется тем, что никакой детектор не может гарантировать точность на текстах, которых не было в его тестовом наборе.