待验证50% 置信观点精确时间

研究者提出注意力稀释效应（attention dilution effect）假设来解释批处理降低过度纠正的现象

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

提示词工程逼近微调效果：语法纠错GEC过度纠正问题的三大解法

涉及实体

注意力稀释效应concept

相关事实

待验证Prompt中token数量过多会稀释注意力机制的聚焦能力，降低每个描述的实际影响力79% 相似待验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小73% 相似待验证上下文污染会导致模型注意力分散、响应质量下降、费用失控72% 相似待验证当前最前沿模型在处理长程依赖时面临注意力衰减问题，随着上下文长度增加，维持早期设定一致性的能力显著下降72% 相似待验证过度膨胀的上下文会稀释模型注意力、抬高推理成本，甚至引入噪声导致幻觉72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/907890

API

curl https://kongchang.com/api/v1/knowledge/claims/907890

MCP

get_claim(id=907890)