Честные метрики детекции ПДн: pii-bench, golden-выборка и span-level F1

Заявленные вендорами «99% точности детекции» могут означать что угодно — от честного span-level F1 на открытом бенчмарке до доли сообщений, в которых сканер хоть что-то нашёл. Разница критична: пропущенный паспорт в проде стоит дорого. Команда Pigard — прокси для маскировки ПДн перед отправкой в LLM — публикует свою методику измерений без купюр.

Подход включает три компонента: внешний бенчмарк pii-bench, собственную golden-выборку с размеченными ошибками и разбор каждого ложного срабатывания. Метрики считаются на уровне отдельных сущностей (span-level), а не по документам целиком. Все цифры, включая неудобные, приводятся открыто — чтобы любой вендор мог повторить тесты.