待验证50% 置信事实精确时间
Cactus将传统Transformer的前馈层替换为headband MLP，每层仅约2.56万参数而非470万，大部分知识存放在engram表中通过哈希查找2到3个词的短片段
1
来源数
50%
置信度
长期有效
时效性
2026/10/5
首次发现
来源
涉及实体
相关事实
待验证Transformer注意力机制的计算量随序列长度平方增长，早期语言模型上下文窗口上限约4000个token64% 相似待验证Transformer推理中批量大小为1时注意力层的算术强度约1~10 FLOP/Byte，远低于H100约300 FLOP/Byte的屋脊点，属于带宽受限场景63% 相似待验证标准Transformer自注意力计算量随序列长度平方增长，50万token的注意力计算量约为4096token的15000倍61% 相似待验证Pythia前5层加RWKV剩余27层的组合将Transformer的KV缓存减少了84.4%，准确率与单独使用RWKV相比没有显著差异61% 相似待验证批大小为1的Transformer推理算术强度往往低于10 FLOP/Byte，意味着GPU算力利用率不足理论峰值的5%59% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/977850API
curl https://kongchang.com/api/v1/knowledge/claims/977850MCP
get_claim(id=977850)