待验证50% 置信事实精确时间
在自回归生成阶段每生成一个token都需要从内存读取整个模型全部权重，使得生成阶段严重受限于内存带宽而非计算能力（memory-bound）
1
来源数
50%
置信度
长期有效
时效性
2026/8/20
首次发现
来源
相关事实
待验证大模型推理阶段是memory-bound（内存带宽受限），每生成一个Token需从显存读取整个模型权重，计算强度极低79% 相似待验证LLM自回归解码阶段受内存带宽瓶颈限制，每生成一个token需完整遍历被激活的模型权重74% 相似待验证Memory机制本质上是系统提示词工程与外部记忆存储的结合，因为主流大模型本身是无状态的，每次API调用相互独立74% 相似待验证大模型推理中每生成一个token都需要从显存中读取全部模型权重，速度瓶颈本质是数据搬运问题而非计算问题71% 相似已验证推理模型的自回归生成过程严格串行，KV Cache显存占用随思考Token序列线性增长，内存带宽成为性能瓶颈71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/779029API
curl https://kongchang.com/api/v1/knowledge/claims/779029MCP
get_claim(id=779029)