[KongchangAI]
Unverified50% confidenceBenchmarkExact time

Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型

1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
8/5/2026
First Seen
Valid until: 11/3/2026

Sources

Quantprobe：6GB显卡跑30B大模型的开源利器

Related Claims

Unverifieddecode阶段的生成速度近似等于内存带宽÷模型大小，例如在内存带宽273GB/s的M4 Pro上运行4GB的Q4量化7B模型理论最大生成速度约68 tokens/s79% similarVerified一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行76% similar

Cite This Claim

Stable URI
https://kongchang.com/claim/689090
API
curl https://kongchang.com/api/v1/knowledge/claims/689090
MCP
get_claim(id=689090)