待验证50% 置信事实精确时间

现有评估基准往往固定场景与措辞，模型可能通过记住标准答案通过测试却在措辞变化的真实交互中失败，这一现象被称为基准过拟合

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

众包游戏揭秘Olmo 3：开放模型如何助力AI对齐评估

涉及实体

基准过拟合concept

相关事实

待验证当自动评分波动大但人工复核认为多个变体答案质量相当时，说明问题出在评估环节而非模型79% 相似待验证同样的模型只改几句提示词，回答效果可能天壤之别，提示词设计本质上是持续测试、不断调整、反复优化的循环79% 相似待验证上下文回贯缺失指工具执行后的观测结果（observation）没有回写到对话上下文，导致模型每轮接收相同上下文而重复相同决策77% 相似待验证过拟合指模型在验证集或测试集上被反复调优，最终记住这些数据的特性，而非真正学到泛化能力76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000972

API

curl https://kongchang.com/api/v1/knowledge/claims/1000972

MCP

get_claim(id=1000972)