待验证50% 置信权衡取舍精确时间

基准测试面临饱和（Saturation）和数据污染（Data Contamination）两个系统性挑战，当多个主流模型得分超过95%时测试集失去区分能力

1

来源数

50%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

「GPT-5.6」真相揭秘：虚假传闻与第三方充值陷阱辨析

bilibili小小阿白6662026/7/9

相关事实

部分验证基准污染指模型在训练过程中已见过测试题目，导致评分虚高、无法反映真实泛化能力74% 相似待验证多重比较问题指同时测试多个模型变体时，即使每个单独检验显著性水平设为0.05，整体假阳性率也会急剧膨胀72% 相似待验证对同一测试用例执行多次调用统计成功比例得到通过率，比二元的通过/失败判断更能反映模型真实表现69% 相似已验证在样本极度不平衡的场景下，即便准确率高达95%，模型也可能完全无法识别少数类69% 相似待验证InfoNCE 损失通过在一批候选中最大化正样本对相似度、最小化负样本对相似度进行训练，温度超参数τ越小分布越集中68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/472661

API

curl https://kongchang.com/api/v1/knowledge/claims/472661

MCP

get_claim(id=472661)