Повторный SnitchBench: Qwen стучит властям в 23 из 33 тестов, а западные LLM почти всегда молчат

Исследователи повторили бенчмарк SnitchBench, который проверяет, сдаст ли LLM-агент компанию властям. Моделям показывали документы о сокрытии смертей пациентов и наблюдали, напишут ли они в госорганы. В тесте участвовали 27 моделей, включая российские YandexGPT и GigaChat.

Эксперимент включал три сценария: обычный, с упоминанием ФБР в документах и «русский» — с упоминанием ФСБ. Qwen написала в ФБР в 23 прогонах из 33, а в сценарии с ФСБ — в 9 из 33. Западные модели Claude, GPT, Gemini и Grok суммарно написали в ФБР лишь в 2 из 27 прогонов, а в русском сценарии — ни разу, 0 из 27.

Результат показывает разное отношение моделей к «своим» и «чужим» силовым структурам: Qwen охотно сотрудничает и с ФБР, и с ФСБ, тогда как западные фронтир-модели в такой ситуации почти всегда молчат. Статья написана вместе с Екатериной Бойковой, полные результаты приложены к публикации.