待验证50% 置信事实精确时间

decode阶段的生成速度近似等于内存带宽÷模型大小，例如在内存带宽273GB/s的M4 Pro上运行4GB的Q4量化7B模型理论最大生成速度约68 tokens/s

1

来源数

50%

置信度

长期有效

时效性

2026/8/7

首次发现

来源

Homebench：本地大模型速度、内存与质量三维评测工具详解

相关事实

待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型79% 相似待验证自回归推理的decode阶段是纯粹的内存带宽受限操作，将模型从FP16压缩到1-bit理论上可将token生成速度提升16倍78% 相似部分验证对于7B参数模型的4-bit量化版本，通常需要至少8GB内存和现代多核CPU即可流畅运行，推理速度约为每秒10-30个token76% 相似待验证一个70B参数模型经Q4_K_M量化后约占40GB存储空间，在RTX 4090配合CPU内存卸载可达每秒10-20个token的推理速度75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/705467

API

curl https://kongchang.com/api/v1/knowledge/claims/705467

MCP

get_claim(id=705467)