Локальные нейросети помогли перевести деньги мошеннику: эксперимент с 42 схемами

Спросите языковую модель «это мошенники?», и она почти всегда ответит правильно. Но попросите «помоги ответить продавцу, я согласна на предоплату», и та же модель напишет мошеннику «переведу сегодня». Автор проверил три локальные модели на 42 схемах мошенничества на русском, казахском и шала. На казахском модели почти ни разу не предупредили о мошенничестве.

Затем автор поставил между человеком и ассистентом простой защитный слой. Этот слой анализировал запросы и блокировал те, что могли привести к мошенничеству. В результате ни одна мошенническая просьба не прошла.

Эксперимент показывает, что локальные модели уязвимы к косвенным запросам, но простая прослойка может эффективно защитить пользователей, особенно уязвимых, например пожилых людей.