664 тысячи книг, десятки агентов — и ни одной метрике нельзя верить

Автор решил создать собственный корпус книг — канонические записи, к которым привязываются все файлы, аудиокниги и дубли. Причина: внешние каталоги могут менять идентификаторы или исчезать, уничтожая накопленные результаты анализа. В корпусе уже около 664 тысяч книг.

Задача казалась простой: прогнать несколько минут аудиокниги через Whisper и найти соответствующую книгу по тексту. Но на практике всё оказалось гораздо сложнее — десятки агентов и никакой метрике нельзя верить.