待验证50% 置信基准精确时间
依靠 12B 激活参数的紧凑 MoE 架构与 TensorRT-LLM 中优化的 NVFP4 kernel，Nemotron 在单台 Blackwell B200 节点上生成 185 tokens/秒，比稠密对手快至 3.2 倍。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/16
首次发现
有效期至：2026/10/30
来源
涉及实体
相关事实
待验证SGLang 使用官方 NVFP4 权重配合 D-Spark 投机解码在 Blackwell GPU 上跑出平均约 173 tokens/秒，短任务逼近 200，同时加载 262k 上下文窗口74% 相似待验证llama.cpp通过纯CPU推理和4-bit GGUF量化格式，使7B参数模型在无GPU的普通服务器上达到每秒20-40 tokens的生成速度68% 相似待验证M3 Ultra运行四位DeepSeek R1时，1000 token上下文约每秒生成19个token占用392GB，16000 token时降到约每秒15个占用410GB67% 相似待验证70B参数模型(140GB权重)在1TB/s带宽下理论最快生成速度约7 tokens/秒67% 相似待验证OpenTPU 运行 LFM 2.5 230M 模型可达到约 59 tokens/秒，在 4-bit 量化下提升到 85.8 tokens/秒67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1047848API
curl https://kongchang.com/api/v1/knowledge/claims/1047848MCP
get_claim(id=1047848)