Краш-тест 27 LLM: GPT-6, Opus и Алиса на реальных задачах — кто ломает JSON и попадает под 152-ФЗ

Автор, который в январе уже публиковал аудит 14 нейросетей на галлюцинации, вернулся с новым масштабным тестом. Этой осенью он прогнал 27 LLM, включая GPT-6, Opus и Алису, в слепом краш-тесте. Он специально ждал выхода всех ожидаемых мастодонтов — в частности, Google Gemini 4 Argon и свежей Muse Wonder.

В отличие от синтетических бенчмарков вроде MMLU, тест заточен под реальные продакшен-пайплайны: грязные данные, хитрые пользователи и жёсткие контракты интеграций. Проверяются конкретные сценарии: добавит ли модель «Вот ваш JSON:» перед фигурной скобкой и сломает парсер, проглотит ли косвенную инъекцию из клиентского письма и самовольно выставит статус «100% предоплата согласована», начнёт ли сыпать китайскими иероглифами или выдумывать несуществующие статьи УК РФ.

Отдельно замеряются стоимость и скорость: полцента за 30 секунд или полтора доллара и полчаса ожидания за один сквозной прогон. Полные результаты — в статье на Хабре.