[控场AI]
概念grader audit / 金丝雀审计

评分器审计

在模型评估中用已知错误的金丝雀案例检验评分器是否会错误放行,防止评分器因修改而静默失效的验证机制。

时间轴 (近 90 天)

10月19日

在跑对比之前,应将几个确知错误的输出喂给评分器并要求其全部拒绝,以审计评分器是否因放松规则而放行一切。

待验证50%
10月19日

评分器审计需要双向检查:既要求错误输出被拒绝,也要求容差用例(near_miss)被正确通过;拒绝一切的评分器会制造虚假的回归故事。

待验证50%

全部知识事实 (2)

来源文章