schema校验
对模型返回的结构化输出进行结构与字段合法性验证的工程实践,确保坐标、面积、标签等字段符合预期约束
时间轴 (近 90 天)
schema校验只能保证结构合规,无法判断字段内容是否捏造,必须与AST解析、试运行解释器等语义级检查配合使用。
由于模型难以从原理上区分“数据”和“指令”,单靠提示词防护不可靠;可行做法是让模型只输出建议,所有具有副作用的动作都由应用代码按白名单执行,并对模型输出做 schema 校验和权限检查。
过度依赖LLM-as-Judge会导致测试套件运行缓慢且成本高昂,底层schema测试的高覆盖度才是快速反馈的基础
底层schema测试运行只需毫秒级,顶层LLM-as-Judge评估每次不过几美分的API费用
语言模型计算数值平均值时,连续运行两次可能得到不同结果(如49.6和49.8),两者都能通过schema校验但未必正确
schema校验只验证输出格式是否合法,无法保证数值的正确性
严格的schema校验会制造人工复核工作量,但能防止清理任务在写入边界处凭空发明政策,这是吞吐量与控制力之间的权衡
全部知识事实 (7)
schema校验只能保证结构合规,无法判断字段内容是否捏造,必须与AST解析、试运行解释器等语义级检查配合使用。
50%待验证由于模型难以从原理上区分“数据”和“指令”,单靠提示词防护不可靠;可行做法是让模型只输出建议,所有具有副作用的动作都由应用代码按白名单执行,并对模型输出做 schema 校验和权限检查。
50%待验证过度依赖LLM-as-Judge会导致测试套件运行缓慢且成本高昂,底层schema测试的高覆盖度才是快速反馈的基础
50%待验证底层schema测试运行只需毫秒级,顶层LLM-as-Judge评估每次不过几美分的API费用
50%待验证语言模型计算数值平均值时,连续运行两次可能得到不同结果(如49.6和49.8),两者都能通过schema校验但未必正确
50%待验证schema校验只验证输出格式是否合法,无法保证数值的正确性
50%待验证严格的schema校验会制造人工复核工作量,但能防止清理任务在写入边界处凭空发明政策,这是吞吐量与控制力之间的权衡
50%