[控场AI]
模型Extrapolation Algorithm for Greater Language-model Efficiency

EAGLE-3

SGLang团队开发的第三代推测解码算法,通过在隐层特征空间进行草稿预测而非词汇表空间,显著提升token命中率,在代码和数学任务上表现突出

时间轴 (近 90 天)

10月12日

MLX 推理后端加入投机解码后,Mac 上回复速度最高提升 2.8 倍,输出结果保持一致,并会自动设置 draft depth,支持 MTP、DFlash、DSpark 和 EAGLE-3 等多种 draft 模型。

待验证50%
9月12日

EAGLE-3是EAGLE系列的最新迭代版本,是社区认可度较高的通用投机解码方案

待验证70%
9月7日

即使是EAGLE-3,其草稿树的总规模在推理过程中仍是预先设定的固定值

待验证50%
9月7日

EAGLE-3是推测解码领域的强基线,采用固定的草稿树深度、宽度和节点数

待验证50%
9月7日

AdaptiveSpec在SGLang生产级服务引擎上实现,与EAGLE-3对比吞吐量提升最高达56%

待验证50%

全部知识事实 (5)

来源文章