待验证50% 置信事实精确时间
Transformer 的注意力计算随序列长度呈平方增长，1M token 的原始注意力在算力上不可行。
1
来源数
50%
置信度
长期有效
时效性
2026/10/23
首次发现
来源
涉及实体
相关事实
已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍79% 相似待验证Transformer自注意力机制的计算成本随上下文长度呈平方级增长，且存在Lost in the Middle效应导致模型对窗口中部信息提取能力弱于头尾77% 相似待验证输入预算是 Transformer 架构的固有约束，源于注意力机制计算复杂度随序列长度平方增长，绝大多数轻量级检查点上下文窗口约 512 个 token74% 相似已验证自注意力机制使计算复杂度随序列长度呈二次方增长，上下文从1000扩展至4000 token计算量增加16倍74% 相似待验证由于 Transformer 的注意力机制天然支持并行前向传播，验证 K 个 token 的计算量远小于逐个自回归生成 K 次74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1091979API
curl https://kongchang.com/api/v1/knowledge/claims/1091979MCP
get_claim(id=1091979)