待验证50% 置信决策规则精确时间

依赖单一基准或单一维度的测试很可能高估模型在生产环境中的可靠性，多维度面向分布偏移的评测应成为标准流程

1

来源数

50%

置信度

长期有效

时效性

2026/10/5

首次发现

来源

大模型时间抽取任务泛化能力评测：单一维度不可靠

涉及实体

模型评测concept

相关事实

待验证厂商自评基准测试存在数据污染、任务筛选、刻意选取较弱基线等潜在偏差，单一来源性能数据可信度有限77% 相似已验证若用含测试集的全量数据计算均值和标准差，会导致预处理泄漏，使评估指标虚高，无法真实反映模型泛化能力76% 相似待验证'集成超越单体'的宣称需要严格控制评测条件，包括任务分布、评分标准与基线模型版本，否则数字容易产生误导76% 相似待验证单一维度的盲测结论不宜过度解读，样本规模、测试设计和评价标准都可能影响结果75% 相似待验证对概率性系统必须通过多次采样、统计分布的方式进行评估，传统单次运行、单点断言的测试方式无法可靠捕捉其真实质量75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/975555

API

curl https://kongchang.com/api/v1/knowledge/claims/975555

MCP

get_claim(id=975555)