待验证50% 置信基准精确时间

Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/8/5

首次发现

有效期至：2026/11/3

来源

Quantprobe：6GB显卡跑30B大模型的开源利器

相关事实

待验证decode阶段的生成速度近似等于内存带宽÷模型大小，例如在内存带宽273GB/s的M4 Pro上运行4GB的Q4量化7B模型理论最大生成速度约68 tokens/s79% 相似已验证一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/689090

API

curl https://kongchang.com/api/v1/knowledge/claims/689090

MCP

get_claim(id=689090)