Unverified50% confidenceFactTime unknown
如果模型预训练语料中极少出现超过 32K token 的样本，即便通过位置编码扩展窗口，模型在该区间的表现也往往不稳定
1
Sources
50%
Confidence
Long-term
Relevance
9/12/2026
First Seen
Sources
上下文退化基准测试：主流大模型的长文本短板
githubkyleaoconnell22
Related Entities
Related Claims
Unverified越接近截止日的事件，在训练语料中占比越少，模型掌握得越模糊77% similarUnverified低端AI模型的上下文窗口较小，可能只有8K-32K tokens，导致在修改新功能时无法充分理解已有功能的完整逻辑，产生回归缺陷73% similarUnverified训练样本末尾遗漏EOS token会导致模型无法学习何时停止生成，推理时陷入无限续写73% similarUnverified行为克隆（BC）存在协变量偏移问题，训练时模型只见过专家轨迹的状态分布，部署时微小误差会使机器人进入训练集未覆盖的状态导致级联失败72% similarUnverified实验表明，仅经过数代自我训练，模型输出的方差就会急剧缩小，文本趋于同质化70% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/917854API
curl https://kongchang.com/api/v1/knowledge/claims/917854MCP
get_claim(id=917854)