待验证50% 置信基准精确时间
使用共享乘积键记忆的Transformer在语言建模任务上达到了与MoE相近的困惑度（perplexity），参数总量为2300万。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/21
首次发现
有效期至：2026/11/4
来源
涉及实体
相关事实
已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍71% 相似待验证标准Transformer在处理需要精确计数、栈操作或复杂状态依赖的任务时表现不稳定，与其注意力机制的软寻址特性有关69% 相似待验证与 Transformer 的全局注意力机制不同，Mamba 的计算复杂度对序列长度是线性的65% 相似待验证在神经网络推理中Softmax、LayerNorm等对数值范围敏感的操作极易因FP16有限的指数位引发上溢或下溢，误差在Transformer多层堆叠中累积放大64% 相似待验证输入预算是 Transformer 架构的固有约束，源于注意力机制计算复杂度随序列长度平方增长，绝大多数轻量级检查点上下文窗口约 512 个 token63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1079934API
curl https://kongchang.com/api/v1/knowledge/claims/1079934MCP
get_claim(id=1079934)