概念canary audit / 金丝雀
金丝雀审计
在评测运行前向评分器输入已知错误的输出、要求其全部拒绝的校验机制,用于确保评分器没有因变更而失效
时间轴 (近 90 天)
10月19日
在任何比较运行之前,应先用你确知错误的输出作为金丝雀喂给评分器,要求它们全部被拒绝,以防止评分器悄悄开始通过一切。
待验证50%
10月19日
金丝雀在评分器变更后仍然存活,应视为停止推进的事件,而不是警告。
待验证60%
在评测运行前向评分器输入已知错误的输出、要求其全部拒绝的校验机制,用于确保评分器没有因变更而失效
在任何比较运行之前,应先用你确知错误的输出作为金丝雀喂给评分器,要求它们全部被拒绝,以防止评分器悄悄开始通过一切。
金丝雀在评分器变更后仍然存活,应视为停止推进的事件,而不是警告。