Как вычленить тихий ответ клиента из шума АЗС: ИИ-аудит по архивным записям камер и микрофонов

Сеть из нескольких сотен АЗС столкнулась с типичной задачей: визуальный аудит качества обслуживания (скрипты, доппродажи, установка приложения) покрывает лишь несколько процентов смен. Остальное остаётся невидимым. Клиент захотел видеть, что происходит в пропущенные моменты — и без доукомплектации оборудованием.

Решение — брать архивные записи с действующих камер и микрофонов, автоматически выделять сессии обслуживания и прогонять их по чек-листу. Ключевая сложность: кассир говорит громко и развёрнутыми фразами, а клиент отвечает коротко, тихо, иногда просто кивает. Стандартный ASR-пайплайн давал монолог кассира с провалами на репликах клиента.

Чтобы обойти это, разработчики начали с видеоанализа: сначала выделяют сессию по движениям и позам, затем синхронизируют с аудио. Так удаётся точнее определить, когда клиент что-то говорит, даже если сигнал слабый. Подробности технического решения — в статье.