待验证60% 置信事实精确时间
BERT通过Transformer的双向注意力机制实现上下文相关的词表示，同一个词在不同句子中的表示可能完全不同
2
来源数
60%
置信度
长期有效
时效性
2026/8/7
首次发现
来源
相关事实
待验证该文提出了残差流（residual stream）和注意力头组合等概念框架，用线性代数语言解析Transformer内部的注意力机制68% 相似待验证研究识别出注意力机制中存在一阶相变，系统可以在玻璃态与鲁棒推理态两种截然不同的相之间切换。68% 相似待验证BERT采用双向注意力，能同时利用上下文左右两侧的信息进行推断66% 相似已验证由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因64% 相似已验证Transformer的自注意力机制能够捕捉序列中任意两个位置之间的依赖关系，无论token相距多远，注意力权重的计算代价相同64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/704266API
curl https://kongchang.com/api/v1/knowledge/claims/704266MCP
get_claim(id=704266)