[控场AI]
待验证50% 置信事实精确时间

通用LLM评估指标（如helpfulness、toxicity、faithfulness）是领域无关的，无法检测业务事实错误（如票价规则中24小时与48小时的差异）。

1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现

来源

人类评审 vs 自动评估：谁来给AI Agent打分？
rss2026/10/15

涉及实体

helpfulnessconcepttoxicityconceptfaithfulnessconcept

相关事实

待验证用 LLM 评审 LLM 是当前常见的验证方案，但评判标准本身不可审计，因为模型的评分依据隐藏在权重里，无法像测试用例那样被复查和复现。69% 相似待验证不应将LLM评审数量等同于证据强度，也不应认为用不同厂商的顶级模型交叉验证能免除错误相关性；在宣称某系统显著更好前应先做错误相关性校正65% 相似待验证校准度衡量模型报告的置信度与实际正确率是否一致；未经验证的置信度接口可能误导下游决策，不应上线。59% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1036259
API
curl https://kongchang.com/api/v1/knowledge/claims/1036259
MCP
get_claim(id=1036259)