[控场AI]
模型EAGLE-4 / Eagle 4

Eagle-4

Eagle 系列投机解码方法的最新迭代,通过轻量级草稿模型生成候选 token 再由目标大模型并行验证,以提升自回归生成吞吐

时间轴 (近 90 天)

10月21日

Eagle-4 已正式发布。

待验证50%
10月21日

在 Qwen3.8-27B 模型上,Eagle-4 实现了相对 Vanilla(原始自回归解码)3.59 倍的推理加速。

待验证50%
10月21日

Eagle-4 目前仅支持 Qwen3.8-27B 这一款模型,尚不支持 Llama、Mistral 等其他主流模型。

待验证50%
10月21日

发帖者表示会密切关注 Eagle-4 落地 llama.cpp 和 vLLM 的进展。

待验证50%
10月21日

Eagle-4 若要落地 llama.cpp 和 vLLM,需要实现草稿树的构建与并行验证 kernel,并在连续批处理下正确处理不同序列的接受长度差异。

待验证50%
10月21日

Reddit 社区对 Eagle-4 的 benchmark 数据反应积极,出现“Insane numbers”等评价。

待验证50%

全部知识事实 (6)

来源文章