已验证65% 置信事实精确时间
对于L层、H个注意力头、每头维度为d的模型，缓存n个token需要的显存为2×L×H×d×n×精度字节数
3
来源数
65%
置信度
长期有效
时效性
2026/8/8
首次发现
来源
相关事实
待验证四维张量通常出现在多头注意力机制中，将维度平均切成若干份后按四维张量方式排列处理72% 相似已验证自注意力机制允许模型在处理每个Token时同时看到输入序列中所有其他Token的信息，注意力矩阵计算复杂度为O(n²)71% 相似待验证MLP层的算术强度是B×T，注意力层的算术强度是S×T/(S+T)，生成时注意力层算术强度约等于1且完全不依赖batch size71% 相似待验证标准 Scaled Dot-Product Attention 中 Q 与 K 做矩阵乘法得到 n×n 注意力分数矩阵，计算量为 O(n²·d)71% 相似待验证密集注意力层需要完整的KV Cache，而线性层则依赖隐状态71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/707989API
curl https://kongchang.com/api/v1/knowledge/claims/707989MCP
get_claim(id=707989)