Российские учёные научили нейросеть распознавать речевые дипфейки и объяснять свой вердикт

Мошенники всё чаще используют генеративные аудиомодели, чтобы подделывать голоса близких и выманивать деньги. Поэтому надёжное обнаружение речевых дипфейков (Speech Deepfake Detection, SDD) становится практической необходимостью. Однако существующие системы плохо справляются с новыми типами генераторов и аудиодоменами, а главное — не могут объяснить, почему они считают запись подделкой.

Исследователи из AIRI, МФТИ, МТУСИ и ВШЭ предложили подход HIR-SDD, который объединяет большие аудиоязыковые модели с пошаговым рассуждением на основе данных, размеченных людьми. Это позволяет системе не только выносить вердикт, но и указывать понятные человеку признаки синтеза, повышая интерпретируемость.

Метод представили постером на Interspeech в конце сентября. Статья доступна для ознакомления — авторы надеются, что подход поможет сделать защиту от голосовых дипфейков более прозрачной и адаптируемой к новым угрозам.