待验证50% 置信事实精确时间
金标准集(golden set)指经过人工确认、带有权威标签的测试用例集合,是评估流水线的“标尺”,用于衡量被测系统的绝对质量和校准评审模型。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
AI评估流水线成本拆解:从试点到企业级
rss2026/10/16
涉及实体
相关事实
待验证Golden Eval Sets 是一组预先标注正确答案的测试样本,用于衡量AI输出质量,在模型升级或prompt修改后进行回归测试以检测性能退化77% 相似待验证评估集构建遵循「黄金数据集」原则:从真实生产流量采样,覆盖高频场景、边界情况和已知失败案例,并由人工标注期望输出作为基准75% 相似待验证业界常见做法是为每个高价值场景维护黄金测试集(golden test suite),在每次变更合并前自动运行,以任务完成率和工具调用准确率的对比差值作为发布门禁指标74% 相似待验证回归评估集(Eval Set)通常包含代表性输入case、对应的期望工具调用序列(golden trace)以及可接受的输出范围73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1046444API
curl https://kongchang.com/api/v1/knowledge/claims/1046444MCP
get_claim(id=1046444)