待验证50% 置信事实精确时间
解码器在编码器基础上增加了掩码自注意力和交叉注意力两个机制，掩码自注意力保证生成时只能看到已产生的词，交叉注意力让解码器能查询编码器的输出
1
来源数
50%
置信度
长期有效
时效性
2026/10/8
首次发现
来源
涉及实体
相关事实
待验证纯解码器架构通过因果注意力掩码确保每个 token 只能关注其之前的上下文，适合自回归文本生成任务75% 相似待验证离线文件转写可以使用双向注意力机制，综合前后文信息，并可进行多轮解码和重排序提升精度72% 相似待验证自注意力本身对顺序不敏感，打乱词语顺序注意力权重计算结果相同，因此需要引入位置编码；原始Transformer论文使用正余弦函数编码70% 相似待验证位置编码（Positional Encoding）通过给每个词附加位置信息，解决注意力机制本身无序、不知道词先后顺序的问题69% 相似已验证交叉编码器（Cross-Encoder）将查询与每个候选文档拼接后联合输入同一模型，通过注意力机制捕捉词级交互，排序精度优于向量相似度，但延迟随候选集规模线性增长69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/987733API
curl https://kongchang.com/api/v1/knowledge/claims/987733MCP
get_claim(id=987733)