待验证50% 置信事实精确时间

MLP层的算术强度是B×T，注意力层的算术强度是S×T/(S+T)，生成时注意力层算术强度约等于1且完全不依赖batch size

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

深入理解大模型推理：为什么生成如此之慢，又该如何加速

涉及实体

Transformerconcept

相关事实

待验证对于L层、H个注意力头、每头维度为d的模型，缓存n个token需要的显存为2×L×H×d×n×精度字节数71% 相似待验证标准自注意力的计算复杂度为序列长度的平方，实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术69% 相似已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²69% 相似待验证模型中注意力层的QKV投影权重和输出投影通常比MLP层的中间权重更敏感，模型首尾层比中间层更脆弱68% 相似待验证注意力头的维度（head_dim）通常保持在64到128之间以充分利用硬件矩阵乘法加速68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/942434

API

curl https://kongchang.com/api/v1/knowledge/claims/942434

MCP

get_claim(id=942434)