待验证50% 置信事实精确时间

编码器的自注意力是双向的，每个位置可以同时看到左右两侧的上下文

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

可视化理解Transformer：拆解大模型背后的核心架构

涉及实体

相关事实

已验证自注意力机制能够捕捉序列中任意两个位置之间的依赖关系72% 相似待验证交叉编码器通过注意力机制同时建模简历和职位的完整内容交互，能捕捉双塔嵌入模型丢失的细粒度信号71% 相似已验证多头注意力（Multi-head Attention）通过在不同子空间的并行计算来捕捉多维度语义关系67% 相似待验证自注意力使任意两个位置之间的信息交互只需一步计算，但显存占用随序列长度平方增长66% 相似待验证混合注意力架构中，底层使用Full Attention捕获全局语义，上层使用Sliding Window提升效率66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/939624

API

curl https://kongchang.com/api/v1/knowledge/claims/939624

MCP

get_claim(id=939624)