待验证50% 置信基准精确时间
英伟达 CentML 工程师 Benjamin 通过上游 vLLM 优化,让 2.8 万亿参数的 Kimi K3 在 GB300 NVL72 上实现 423 tok/s/user 的推理速度,性能提升 1.68 倍。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/19
首次发现
有效期至:2026/11/2
来源
涉及实体
相关事实
待验证在 B300 基准测试上,Kimi K3 在 vLLM 上的新优化方案相较于 v0.27.1 版本实现了 2.2 到 2.8 倍的吞吐量提升71% 相似待验证根据文档,Kimi K2.8性能水平与K3相当,但拥有更高效的思考能力,支持100万token上下文窗口、图像与视频输入,以及低、高、最大三档推理模式68% 相似待验证Kimi K3使用自研的Kimi Delta Attention机制,解码速度最高提升6.3倍,上下文窗口支持100万token64% 相似待验证Mixtral-8x7B以47B总参数达到了接近70B稠密模型的性能,但拥有更快的推理速度64% 相似待验证实测中Top Speed配置14分钟跑完,消耗200万tokens;Open Weights配置中的Kimi K3模型完全失败无法输出正确JSON;Frontier配置中的Opus 5规划阶段跑了13分钟63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1065048API
curl https://kongchang.com/api/v1/knowledge/claims/1065048MCP
get_claim(id=1065048)