概念output validator / 验证器
输出验证器
与模型解耦的确定性程序,用于在模型输出进入下游前判断其是否可接受,常见形式包括JSON Schema校验、正则匹配、枚举白名单等,可将模型偶发错误转化为可重试的失败
时间轴 (近 90 天)
10月19日
输出验证器无法判断语义层面的“选对了事实”,只能做确定性检查。
待验证50%
10月19日
如果能用确定性检查捕获大部分坏输出,就可以使用更小的模型并依赖验证器。
待验证50%
与模型解耦的确定性程序,用于在模型输出进入下游前判断其是否可接受,常见形式包括JSON Schema校验、正则匹配、枚举白名单等,可将模型偶发错误转化为可重试的失败
输出验证器无法判断语义层面的“选对了事实”,只能做确定性检查。
如果能用确定性检查捕获大部分坏输出,就可以使用更小的模型并依赖验证器。