待验证50% 置信事实精确时间

在Transformer的自注意力机制中，语义丰富的实词通常获得较高的注意力权重，而标点符号、连接词等功能性token的权重相对较低

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30

来源

Prompt工程核心方法论：从原理到实战的系统精讲

bilibili大模型研究所2026/5/27

相关事实

待验证由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因78% 相似待验证BERT通过Transformer的双向注意力机制实现上下文相关的词表示，同一个词在不同句子中的表示可能完全不同75% 相似待验证Transformer架构的注意力机制中，序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释，形成注意力沉没效应73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/52681

API

curl https://kongchang.com/api/v1/knowledge/claims/52681

MCP

get_claim(id=52681)