待验证50% 置信事实精确时间
即使是128K Token的大模型在处理大量历史时也会出现注意力稀释问题
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/7/2
首次发现
有效期至:2026/9/30
来源
零基础学AI Agent开发:入门路径与商业变现指南
bilibiliAI研究所-2026/6/5
相关事实
待验证即使是支持128K token的大模型,在实际使用中也面临注意力衰减问题——模型对窗口中间位置的信息关注度明显低于首尾85% 相似已验证即便拥有百万token上下文的模型,在处理大型代码库时也面临注意力稀释问题——上下文过长时模型对早期内容的关注度会显著下降72% 相似待验证即使支持128K或更长上下文的大语言模型,在一次性注入所有能力指令时也会出现注意力稀释(Attention Dilution)问题,导致特定任务执行质量下降69% 相似待验证即便是支持128K上下文的模型,在文档长度超过32K时,中段信息的检索准确率往往出现明显下滑69% 相似待验证上下文窗口大小不等于有效上下文长度,超出有效注意力范围会导致遗忘漂移现象68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/53460API
curl https://kongchang.com/api/v1/knowledge/claims/53460MCP
get_claim(id=53460)