产品
dlmrt
针对扩散语言模型的推理引擎，通过将去噪循环捕获进CUDA graph在GPU上执行，减少CPU同步开销，提升端到端吞吐
时间轴 (近 90 天)
10月17日
在单张H100、相近实测准确率下，QwenDLM-4B + ORL达到1,298 tokens/s，DFlash为746 tokens/s，EAGLE3为405 tokens/s（端到端系统比较：ORL走dlmrt，投机解码走vLLM）。
待验证50%
10月17日
dlmrt推理引擎的核心思路是将整个去噪循环捕获进一张CUDA graph，直接在GPU上执行，避免每步从CPU发起并同步。
待验证50%
10月17日
作者报告，相同模型和相同解码设置下，dlmrt在单张H100上比SGLang/vLLM快1.2到1.6倍。
待验证50%