待验证50% 置信基准精确时间
在2.8万亿参数的KimiK3上，GB300-NVL72的每兆瓦吞吐量约为H200的80倍，同时将交互性推至约215 token/秒/用户。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/14
首次发现
有效期至：2026/10/28
来源
涉及实体
相关事实
已验证支持128K上下文的70B参数模型的KV Cache满负荷时可能需要数百GB显存，超过单张H100的80GB显存容量73% 相似已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存73% 相似待验证100万Token在FP16精度下仅KV Cache一项即可消耗数百GB显存，远超单张A100/H100的80GB容量上限72% 相似待验证开发者在一台MacBook Pro上以约1 token/秒的速度运行了2.8万亿参数的Kimi K3模型71% 相似待验证LLaMA-3 70B权重约140GB，推理时每生成一个Token都需要完整遍历一次权重71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1030799API
curl https://kongchang.com/api/v1/knowledge/claims/1030799MCP
get_claim(id=1030799)