待验证50% 置信事实时间未知

如果模型预训练语料中极少出现超过 32K token 的样本，即便通过位置编码扩展窗口，模型在该区间的表现也往往不稳定

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

上下文退化基准测试：主流大模型的长文本短板

githubkyleaoconnell22

涉及实体

position encodingtechnology

相关事实

待验证越接近截止日的事件，在训练语料中占比越少，模型掌握得越模糊77% 相似待验证低端AI模型的上下文窗口较小，可能只有8K-32K tokens，导致在修改新功能时无法充分理解已有功能的完整逻辑，产生回归缺陷73% 相似待验证训练样本末尾遗漏EOS token会导致模型无法学习何时停止生成，推理时陷入无限续写73% 相似待验证行为克隆（BC）存在协变量偏移问题，训练时模型只见过专家轨迹的状态分布，部署时微小误差会使机器人进入训练集未覆盖的状态导致级联失败72% 相似待验证实验表明，仅经过数代自我训练，模型输出的方差就会急剧缩小，文本趋于同质化70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/917854

API

curl https://kongchang.com/api/v1/knowledge/claims/917854

MCP

get_claim(id=917854)