待验证50% 置信事实精确时间
注意力汇聚点现象由MIT的Xiao等人在2023年的StreamingLLM论文中系统描述：Transformer会将大量注意力权重分配给序列开头的第1-4个token
1
来源数
50%
置信度
长期有效
时效性
2026/8/31
首次发现
来源
涉及实体
相关事实
待验证线性注意力思路由 Katharopoulos 等人在 2020 年论文《Transformers are RNNs》中系统化73% 相似待验证Dai等人在2022年发表了论文《Knowledge Neurons in Pretrained Transformers》，通过定位和编辑特定神经元可以修改模型对特定事实的记忆64% 相似待验证《Attention Is All You Need》论文在发表初期并未全面碾压所有基线，却奠定了Transformer时代的架构基础64% 相似已验证Transformer最初由Vaswani等人在2017年的论文《Attention Is All You Need》中提出，用于机器翻译任务60% 相似待验证机制可解释性领域在很大程度上由 Anthropic 研究团队（尤其是 Chris Olah）在2021年前后通过「Transformer 电路」系列论文奠定基础59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/828094API
curl https://kongchang.com/api/v1/knowledge/claims/828094MCP
get_claim(id=828094)