模型EAGLE / Extrapolation Algorithm for Greater Language-model Efficiency
EAGLE3
EAGLE是一类基于特征层预测的推测解码草稿方法,通过隐层特征复用提升草稿质量,EAGLE3为其最新迭代版本,进一步提升了草稿token的准确性
时间轴 (近 90 天)
10月17日
在单张H100、相近实测准确率下,QwenDLM-4B + ORL达到1,298 tokens/s,DFlash为746 tokens/s,EAGLE3为405 tokens/s(端到端系统比较:ORL走dlmrt,投机解码走vLLM)。
待验证50%
9月24日
v0.30.0 推出全新的 Model Runner V2,将 EAGLE3 风格的草稿生成引入流水线并行
待验证50%