GuardRate раскрыл внутреннюю кухню аудита: методология, метрики и бенчмарки

GuardRate выпустил вторую часть отчёта по аудиту guardrail-моделей. Если первая часть давала верхнеуровневые результаты оценки 37 моделей и инсайты по их использованию, то новая статья погружается в детали устройства инструмента и лидерборда.

Авторы объясняют, почему выбрали именно такие бенчмарки и метрики, описывают методологию экспериментов и устройство GuardRate Tool. Это позволяет лучше понять, как проводилась оценка и насколько ей можно доверять.

Материал будет полезен всем, кто занимается безопасностью ИИ-систем и хочет глубже разобраться в подходе GuardRate к сравнениям guardrail-моделей.