待验证50% 置信事实精确时间

研究使用明眼评分者和 7 位 BLV 参与者的质量评分验证了自动化无参考指标的有效性，两者存在显著相关性。

1

来源数

50%

置信度

长期有效

时效性

2026/10/30

首次发现

来源

MTG-AD：MLLM内联音频描述测评新基准

涉及实体

BLVconcept MTG-AD-Evalproduct

相关事实

待验证数据标注评估考核中常见的质量指标包括标注者间一致性（IAA）和与黄金标准的偏差71% 相似待验证人工评估常用标注者间一致性（IAA）指标如Cohen's Kappa和Krippendorff's Alpha来确保评估质量可靠性，一般Kappa大于0.7为可接受水平70% 相似待验证研究核心结论认为智能体评估应当对闭环结果打分，并把可靠性与覆盖率一并报告70% 相似已验证有价值的对比测试工具理想状态下应具备标准化任务集、自动化评分机制和结果可视化呈现能力70% 相似待验证实验采用平衡准确率（balanced accuracy）作为评价指标，覆盖 8 个分类数据集70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1114625

API

curl https://kongchang.com/api/v1/knowledge/claims/1114625

MCP

get_claim(id=1114625)