Детектор нейрослопа: 12 признаков ИИ-текста, из которых код ловит только пять

Автор собрал детектор ИИ-текста, который проверяет 12 признаков «нейрослопа» — невычитанного машинного текста. Из них код может автоматически обнаружить только пять (два — частично), остальные семь требуют участия живого редактора.

Проблема онлайн-детекторов в том, что они выдают лишь процент вероятности, не объясняя, что именно не так. К тому же этот процент ненадёжен: в работе Liang и соавторов семь популярных детекторов в среднем ошибочно классифицировали как машинные 61% эссе TOEFL, написанных людьми, для которых английский не родной. OpenAI закрыла свой классификатор ещё летом 2023 года из-за низкой точности.

Подход автора — узкая проверка: скрипт ищет конкретные фразы и правила, а не вычисляет вероятность. Каждое срабатывание можно рассмотреть отдельно и оспорить. Редакторы Википедии ведут открытый список признаков ИИ-текста, подчёркивая, что сам по себе признак ничего не доказывает.

Итог: полностью автоматизировать детекцию ИИ-текста пока не удаётся, но сочетание кода и внимательного редактора может быть эффективнее, чем слепое доверие к процентам.