Живые субтитры на CPU: T-one, GigaAM и Vosk — сравнение с неожиданным выводом о железе

Для живых субтитров на русском в звонках один на один автор решил уйти с облачного Deepgram на собственный сервер. Он протестировал T-one от Т-Банка, GigaAM от Сбера и Vosk на обычном CPU, а также на колл-центре и в получасовой живой сессии.

Основной вывод оказался неожиданным: один и тот же код на двух серверах с похожим числом ядер показал разницу в ёмкости в разы. Это значит, что выбор модели — не главное, важнее правильно подобрать железо.

В статье приведены замеры качества и задержки, грабли, расчёт окупаемости и открытый код стенда с зондом, который за минуту покажет, сколько потянет ваш сервер.