待验证50% 置信事实精确时间
decode阶段的生成速度近似等于内存带宽÷模型大小，例如在内存带宽273GB/s的M4 Pro上运行4GB的Q4量化7B模型理论最大生成速度约68 tokens/s
1
来源数
50%
置信度
长期有效
时效性
2026/8/7
首次发现
来源
相关事实
待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型79% 相似待验证自回归推理的decode阶段是纯粹的内存带宽受限操作，将模型从FP16压缩到1-bit理论上可将token生成速度提升16倍78% 相似部分验证对于7B参数模型的4-bit量化版本，通常需要至少8GB内存和现代多核CPU即可流畅运行，推理速度约为每秒10-30个token76% 相似待验证分辨率越高单位时间存储占用越大，4K约需1GB/2分钟，若只配32GB存储循环覆盖过快取证价值低；建议4K机型至少搭配128GB高速卡（U3/V30）75% 相似待验证一个70B参数模型经Q4_K_M量化后约占40GB存储空间，在RTX 4090配合CPU内存卸载可达每秒10-20个token的推理速度75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/705467API
curl https://kongchang.com/api/v1/knowledge/claims/705467MCP
get_claim(id=705467)