待验证50% 置信基准精确时间
作者报告，相同模型和相同解码设置下，dlmrt在单张H100上比SGLang/vLLM快1.2到1.6倍。
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/17
首次发现
有效期至：2026/10/31
来源
涉及实体
相关事实
待验证TP LMHead原本的allgather+scatter两步操作被合并为单次all-to-all通信，在DeepSeek-V4-Pro B200解码测试中LMHead耗时从320μs降至169μs，TPOT从36.97ms改善到35.67ms66% 相似待验证M5 Max的token生成速度大约在10-30 tokens/s范围（取决于模型规模），而NVIDIA H100的HBM3显存带宽高达3.35TB/s，推理速度可达本地设备的数十倍66% 相似待验证在 M5 Max 芯片上，Lily 的 prefill 速度比 MLX-LM 快 1.23 倍，decode 速度快 1.35 倍（官方数据）65% 相似待验证一位开发者将 LingBot-World 2.0 1.3B 模型在单张 RTX 5090 上的推理速度从 6 FPS 提升到 16 FPS，并将代码开源64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1049953API
curl https://kongchang.com/api/v1/knowledge/claims/1049953MCP
get_claim(id=1049953)