待验证50% 置信事实精确时间
数据标注评估考核中常见的质量指标包括标注者间一致性（IAA）和与黄金标准的偏差
1
来源数
50%
置信度
长期有效
时效性
2026/8/26
首次发现
来源
涉及实体
相关事实
待验证人工评估常用标注者间一致性（IAA）指标如Cohen's Kappa和Krippendorff's Alpha来确保评估质量可靠性，一般Kappa大于0.7为可接受水平77% 相似待验证评估（Evaluation）通过预定义的测试集和评分标准衡量输出质量，维度包括准确性、相关性、忠实度、有害内容检测75% 相似待验证常用的校准评估指标包括期望校准误差（ECE）和可靠性图（Reliability Diagram）75% 相似待验证许多企业采用'金标准数据集+A/B测试'的组合方案，前者用于版本间能力回归检测，后者用于衡量实际用户满意度变化74% 相似待验证采样与人工审核是准确度最高的黄金标准，但成本最高，通常与自动化评估结合用于校准73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/802126API
curl https://kongchang.com/api/v1/knowledge/claims/802126MCP
get_claim(id=802126)