概念grader audit / 金丝雀审计
评分器审计
在模型评估中用已知错误的金丝雀案例检验评分器是否会错误放行,防止评分器因修改而静默失效的验证机制。
时间轴 (近 90 天)
10月19日
在跑对比之前,应将几个确知错误的输出喂给评分器并要求其全部拒绝,以审计评分器是否因放松规则而放行一切。
待验证50%
10月19日
评分器审计需要双向检查:既要求错误输出被拒绝,也要求容差用例(near_miss)被正确通过;拒绝一切的评分器会制造虚假的回归故事。
待验证50%
在模型评估中用已知错误的金丝雀案例检验评分器是否会错误放行,防止评分器因修改而静默失效的验证机制。
在跑对比之前,应将几个确知错误的输出喂给评分器并要求其全部拒绝,以审计评分器是否因放松规则而放行一切。
评分器审计需要双向检查:既要求错误输出被拒绝,也要求容差用例(near_miss)被正确通过;拒绝一切的评分器会制造虚假的回归故事。