Офлайн-пайплайн речевой аналитики на одной игровой видеокарте: личный опыт

Автор поделился опытом построения офлайн-пайплайна речевой аналитики для телефонных звонков — всё работает на одной игровой видеокарте. Основная цель — не просто расшифровать диалог, а извлечь из него бизнес-смысл без отправки данных в облако.

Ключевая особенность: LLM используется не для распознавания речи (эту задачу решают лёгкие акустические модели), а для понимания контекста, классификации звонков и выявления проблемных моментов. Такой подход позволяет экономить ресурсы и сохранять приватность.

Автор подробно описывает архитектуру пайплайна, выбор моделей и настройку оборудования. В результате получается рабочее решение для малого бизнеса или личного использования, которое не требует мощных серверов и интернет-подключения.