Unverified50% confidenceFactExact time
decode阶段的生成速度近似等于内存带宽÷模型大小，例如在内存带宽273GB/s的M4 Pro上运行4GB的Q4量化7B模型理论最大生成速度约68 tokens/s
1
Sources
50%
Confidence
Long-term
Relevance
8/7/2026
First Seen
Sources
Related Claims
UnverifiedQuantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型79% similarUnverified自回归推理的decode阶段是纯粹的内存带宽受限操作，将模型从FP16压缩到1-bit理论上可将token生成速度提升16倍78% similarPartially Verified对于7B参数模型的4-bit量化版本，通常需要至少8GB内存和现代多核CPU即可流畅运行，推理速度约为每秒10-30个token76% similarUnverified分辨率越高单位时间存储占用越大，4K约需1GB/2分钟，若只配32GB存储循环覆盖过快取证价值低；建议4K机型至少搭配128GB高速卡（U3/V30）75% similarUnverified一个70B参数模型经Q4_K_M量化后约占40GB存储空间，在RTX 4090配合CPU内存卸载可达每秒10-20个token的推理速度75% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/705467API
curl https://kongchang.com/api/v1/knowledge/claims/705467MCP
get_claim(id=705467)