VK и ВШЭ создали лёгкую модель для чистки речи в реальном времени: шум и эхо убираются одновременно

Большинство современных решений для улучшения речи либо ограничиваются только шумоподавлением, либо работают с аудио низкого качества (16 кГц). Команда из Инженерно-математической школы НИУ ВШЭ и VK под руководством Ивана Бескровного (руководитель звуковых технологий VK Видео) пошла дальше: они разработали модель, которая за один проход справляется и с шумом, и с реверберацией, причём на full-band аудио с частотой дискретизации 48 кГц.

Обычно эти задачи решаются последовательно разными нейросетями, что увеличивает потребление памяти и задержку. Новая модель объединяет оба процесса в одной архитектуре, что позволяет обрабатывать речь локально на устройствах с ограниченными ресурсами — без постоянной отправки данных на сервер. Это особенно важно для видеозвонков, голосовых ассистентов и других приложений реального времени.

Автор разработки Захар Кондауров отмечает, что бенчмарков, ориентированных на совместное шумоподавление и дереверберацию, пока мало — индустрия в основном сосредоточена на отдельных задачах. Проект делает шаг к более универсальным и эффективным аудиомоделям, которые могут работать в условиях ограниченного железа.