待验证50% 置信基准精确时间

行为学测试与因果测试的差距在统计上极为显著（item-matched配对，111:14不一致配对，p < 1e-15）

1

来源数

50%

置信度

长期有效

时效性

2026/9/24

首次发现

来源

思维链真的在推理吗？因果测量揭示CoT忠实度真相

相关事实

待验证基准测试面临饱和（Saturation）和数据污染（Data Contamination）两个系统性挑战，当多个主流模型得分超过95%时测试集失去区分能力68% 相似待验证对同一测试用例执行多次调用统计成功比例得到通过率，比二元的通过/失败判断更能反映模型真实表现67% 相似待验证早期研究发现同一问题用不同表述方式提问，模型性能差异可高达数十个百分点67% 相似待验证研究团队指出推理时上下文管理在基准测试中带来的提升幅度超过了大多数已报告的系统间差异67% 相似待验证多重比较问题指同时测试多个模型变体时，即使每个单独检验显著性水平设为0.05，整体假阳性率也会急剧膨胀67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/946174

API

curl https://kongchang.com/api/v1/knowledge/claims/946174

MCP

get_claim(id=946174)