Unverified50% confidenceFactExact time
Transformer注意力层存在位置偏置，模型对序列起始位置(primacy bias)和末尾位置(recency bias)的关注天然高于中间段落
1
Sources
50%
Confidence
Long-term
Relevance
7/18/2026
First Seen
Sources
Related Claims
Unverified由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因82% similarVerifiedTransformer的自注意力机制能够捕捉序列中任意两个位置之间的依赖关系，无论token相距多远，注意力权重的计算代价相同76% similarUnverifiedTransformer的因果注意力掩码通过将注意力矩阵上三角部分置为负无穷，确保每个位置的预测只依赖历史信息76% similarVerifiedLost in the Middle效应源于Transformer注意力机制中间位置token获得较低注意力权重的架构固有偏差，目前没有方案能在所有场景下完全消除73% similarUnverifiedTransformer架构中的自注意力（Self-Attention）层通过Softmax函数对所有位置的相关性分数进行归一化，当序列长度从几千Token膨胀到数万Token时，每个位置分配到的注意力权重被大幅稀释72% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/554407API
curl https://kongchang.com/api/v1/knowledge/claims/554407MCP
get_claim(id=554407)