待验证50% 置信事实精确时间
该文提出了残差流（residual stream）和注意力头组合等概念框架，用线性代数语言解析Transformer内部的注意力机制
1
来源数
50%
置信度
长期有效
时效性
2026/10/11
首次发现
来源
涉及实体
相关事实
待验证注意力汇聚点(Attention Sinks)由MIT的Xiao等人在2023年的StreamingLLM论文中系统描述，指Transformer模型将大量注意力权重分配给序列开头的第1-4个token73% 相似待验证文字指令先于图像输入时，Transformer的交叉注意力机制使模型在编码图像时已形成明确的查询向量，优先激活与目标语义相关的视觉区域73% 相似待验证论文提出了一种同时捕捉半局部与全局信息流特征的方法，聚焦于与幻觉响应高度相关的注意力头71% 相似已验证视觉Transformer（ViT）将NLP领域的自注意力机制引入图像理解，将图像切分为图块作为序列处理70% 相似待验证快手Kling采用3D因果注意力机制处理时序帧关系70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/995438API
curl https://kongchang.com/api/v1/knowledge/claims/995438MCP
get_claim(id=995438)