待验证50% 置信事实精确时间
自回归推理的decode阶段是纯粹的内存带宽受限操作，将模型从FP16压缩到1-bit理论上可将token生成速度提升16倍
1
来源数
50%
置信度
长期有效
时效性
2026/8/7
首次发现
来源
相关事实
待验证decode阶段的生成速度近似等于内存带宽÷模型大小，例如在内存带宽273GB/s的M4 Pro上运行4GB的Q4量化7B模型理论最大生成速度约68 tokens/s78% 相似部分验证标准的FP32模型每个参数占用4字节，而INT4量化将其压缩至0.5字节，理论上可实现8倍的内存节省75% 相似待验证Prefill阶段计算密集依赖内存容量，Decode阶段串行自回归依赖内存带宽，解码可交给Groq LPU、Cerebras WSE等推理芯片处理74% 相似待验证端侧大模型通过模型量化（FP32压缩为INT4/INT8）、知识蒸馏和结构剪枝等技术将参数量压缩至1B-7B级别，可在本地芯片实时推理73% 相似待验证LLM推理的Prefill阶段为计算密集型且GPU利用率接近100%，Decode阶段为内存带宽密集型，瓶颈在于HBM显存带宽71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/699916API
curl https://kongchang.com/api/v1/knowledge/claims/699916MCP
get_claim(id=699916)