待验证50% 置信事实精确时间
用户使用4台ASUS GB10运行397B模型达到30 token/s，功耗仅400W，对比此前6kW下的50-60 token/s
1
来源数
50%
置信度
长期有效
时效性
2026/10/4
首次发现
来源
涉及实体
相关事实
已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存74% 相似待验证以 Llama-3 70B 为例，在 A100 80GB GPU 上处理 32K token 的预填充阶段约需 800-1200ms，而处理 2K token 仅需约 50ms71% 相似待验证Quantprobe 宣称能让仅有 6GB 显存和 16GB 内存的机器以 22 tokens/s 的速度运行 30B 级别的模型71% 相似待验证在M5 Ultra的1.2TB/s带宽下，100GB量化模型理论速度约12 token/s，200GB约6 token/s，300GB约4 token/s70% 相似待验证在对照测试中，35B模型速度约100 tokens/秒（Mac Studio），是9B模型16 tokens/秒的约五倍70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/974692API
curl https://kongchang.com/api/v1/knowledge/claims/974692MCP
get_claim(id=974692)