Unverified50% confidenceFactExact time

在Transformer的自注意力机制中，语义丰富的实词通常获得较高的注意力权重，而标点符号、连接词等功能性token的权重相对较低

1

Sources

50%

Confidence

Medium-term (~90 days)

Relevance

7/2/2026

First Seen

Valid until: 9/30/2026

Sources

Prompt工程核心方法论：从原理到实战的系统精讲

bilibili大模型研究所5/27/2026

Related Claims

Unverified由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因78% similar UnverifiedBERT通过Transformer的双向注意力机制实现上下文相关的词表示，同一个词在不同句子中的表示可能完全不同75% similar UnverifiedTransformer架构的注意力机制中，序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释，形成注意力沉没效应73% similar

Cite This Claim

Stable URI

https://kongchang.com/claim/52681

API

curl https://kongchang.com/api/v1/knowledge/claims/52681

MCP

get_claim(id=52681)