待验证50% 置信事实精确时间
开放权重模型在 Groq LPU 与 Cerebras 晶圆级集群上能达到420至2100 tokens/秒的吞吐。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至：2027/1/17
来源
涉及实体
相关事实
待验证对于一个32层、4096维的模型,处理2048个Token的KV Cache约占用1GB显存71% 相似待验证该配置下35B模型实测单人最高速度约80 Tokens/秒，并发可达500 Tokens/秒以上69% 相似待验证SGLang 使用官方 NVFP4 权重配合 D-Spark 投机解码在 Blackwell GPU 上跑出平均约 173 tokens/秒，短任务逼近 200，同时加载 262k 上下文窗口68% 相似已验证以LLaMA-2 70B模型为例，2048 token的序列需约4GB显存仅用于KV缓存68% 相似待验证大多数模型的单次输出上限在4000到8000 Token之间，部分高端模型支持到32000 Token68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1072609API
curl https://kongchang.com/api/v1/knowledge/claims/1072609MCP
get_claim(id=1072609)