Unverified50% confidenceFactExact time
BERT采用双向注意力，能同时利用上下文左右两侧的信息进行推断
1
Sources
50%
Confidence
Long-term
Relevance
7/12/2026
First Seen
Sources
CNN到Transformer：AI理解人类语言的进化之路
bilibiliAI-Agent搭建7/9/2026
Related Claims
Unverified自注意力使任意两个位置之间的信息交互只需一步计算，但显存占用随序列长度平方增长68% similarVerified多头注意力（Multi-head Attention）通过在不同子空间的并行计算来捕捉多维度语义关系66% similarUnverifiedBERT通过Transformer的双向注意力机制实现上下文相关的词表示，同一个词在不同句子中的表示可能完全不同66% similarUnverified自注意力机制能够捕捉序列中任意两个位置之间的依赖关系65% similarUnverifiedSelf-Attention的核心操作是计算查询向量与键向量之间的点积相似度，再以此为权重对值向量进行加权求和60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/490825API
curl https://kongchang.com/api/v1/knowledge/claims/490825MCP
get_claim(id=490825)