待验证50% 置信事实精确时间
公开评测集在训练数据中的出现概率随模型更新而变化，旧评测的分数因此失去可比性；API模型存在静默更新，同一模型名在不同时间可能对应不同权重。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
旧结论遇新模型：LLM复现研究的启示
hackernewshackernews2026/11/3
涉及实体
相关事实
待验证模型输出的概率校准往往存在偏差，尤其在训练数据分布内看似熟悉的模式上会给出过高置信度。78% 相似待验证在AI审计中，交叉性是最难测的轴之一，因为当两个demographic参数同时变动时，训练数据中相应组合的样本量通常急剧减少，导致模型得分往往偏低。71% 相似待验证在训练早期，模型输出接近均匀分布，α 较低；随着训练推进，模型学会将概率质量集中到正确 token 上，α 上升。71% 相似待验证不同厂商在训练数据、对齐方式和检索能力上存在差异，因此各自模型的错误分布并不重合。70% 相似待验证模型的自评分数与实际正确率之间没有稳定映射，同一提示词换个措辞，分数就可能大幅漂移。70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1130389API
curl https://kongchang.com/api/v1/knowledge/claims/1130389MCP
get_claim(id=1130389)