[控场AI]
模型EAGLE / Extrapolation Algorithm for Greater Language-model Efficiency

EAGLE3

EAGLE是一类基于特征层预测的推测解码草稿方法,通过隐层特征复用提升草稿质量,EAGLE3为其最新迭代版本,进一步提升了草稿token的准确性

时间轴 (近 90 天)

10月17日

在单张H100、相近实测准确率下,QwenDLM-4B + ORL达到1,298 tokens/s,DFlash为746 tokens/s,EAGLE3为405 tokens/s(端到端系统比较:ORL走dlmrt,投机解码走vLLM)。

待验证50%
9月24日

v0.30.0 推出全新的 Model Runner V2,将 EAGLE3 风格的草稿生成引入流水线并行

待验证50%

全部知识事实 (2)

来源文章