待验证50% 置信事实精确时间
Transformer注意力层存在位置偏置，模型对序列起始位置(primacy bias)和末尾位置(recency bias)的关注天然高于中间段落
1
来源数
50%
置信度
长期有效
时效性
2026/7/18
首次发现
来源
相关事实
待验证由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因82% 相似已验证Transformer的自注意力机制能够捕捉序列中任意两个位置之间的依赖关系，无论token相距多远，注意力权重的计算代价相同76% 相似待验证Transformer的因果注意力掩码通过将注意力矩阵上三角部分置为负无穷，确保每个位置的预测只依赖历史信息76% 相似已验证Lost in the Middle效应源于Transformer注意力机制中间位置token获得较低注意力权重的架构固有偏差，目前没有方案能在所有场景下完全消除73% 相似待验证Transformer架构中的自注意力（Self-Attention）层通过Softmax函数对所有位置的相关性分数进行归一化，当序列长度从几千Token膨胀到数万Token时，每个位置分配到的注意力权重被大幅稀释72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/554407API
curl https://kongchang.com/api/v1/knowledge/claims/554407MCP
get_claim(id=554407)