待验证50% 置信决策规则精确时间

人工评估常用标注者间一致性（IAA）指标如Cohen's Kappa和Krippendorff's Alpha来确保评估质量可靠性，一般Kappa大于0.7为可接受水平

1

来源数

50%

置信度

长期有效

时效性

2026/8/20

首次发现

来源

AI评估集构建与维护实践指南：让LLM应用质量可量化

相关事实

待验证常用的校准评估指标包括期望校准误差（ECE）和可靠性图（Reliability Diagram）68% 相似待验证AlphaEvolve的效果高度依赖于可自动评估的前提，评估器质量直接决定系统上限67% 相似待验证目标检测任务中常用IoU（Intersection over Union）衡量不同标注员标注框的一致性，通常以0.5或0.75作为阈值66% 相似待验证校准性（Calibration）指模型表达的置信度与实际准确率之间的一致程度，是评估AI模型质量的核心指标之一64% 相似待验证董事会汇报AI质量应使用三个核心指标：发布前拦截的回归数、用户侧信号、结果验证（趋势）64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/779014

API

curl https://kongchang.com/api/v1/knowledge/claims/779014

MCP

get_claim(id=779014)