待验证70% 置信事实精确时间
注意力汇聚点(Attention Sinks)由MIT的Xiao等人在2023年的StreamingLLM论文中系统描述，指Transformer模型将大量注意力权重分配给序列开头的第1-4个token
2
来源数
70%
置信度
长期有效
时效性
2026/8/30
首次发现
来源
涉及实体
相关事实
待验证Attention Sinks 来自麻省理工学院 2023 年的 StreamingLLM 研究75% 相似待验证该文提出了残差流（residual stream）和注意力头组合等概念框架，用线性代数语言解析Transformer内部的注意力机制73% 相似待验证大模型中存在注意力汇聚（Attention Sink）现象，即序列最开头的几个 token 往往保持较高的注意力权重67% 相似已验证Transformer架构的注意力机制中，序列长度增加时早期token的注意力得分在softmax归一化后被后续token稀释，形成注意力沉没效应66% 相似待验证Transformer架构的注意力机制决定了模型只能处理当前上下文窗口内的信息66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/823646API
curl https://kongchang.com/api/v1/knowledge/claims/823646MCP
get_claim(id=823646)