模型EAGLE-4 / Eagle 4
Eagle-4
Eagle 系列投机解码方法的最新迭代,通过轻量级草稿模型生成候选 token 再由目标大模型并行验证,以提升自回归生成吞吐
时间轴 (近 90 天)
10月21日
Eagle-4 已正式发布。
待验证50%
10月21日
在 Qwen3.8-27B 模型上,Eagle-4 实现了相对 Vanilla(原始自回归解码)3.59 倍的推理加速。
待验证50%
10月21日
Eagle-4 目前仅支持 Qwen3.8-27B 这一款模型,尚不支持 Llama、Mistral 等其他主流模型。
待验证50%
10月21日
发帖者表示会密切关注 Eagle-4 落地 llama.cpp 和 vLLM 的进展。
待验证50%
10月21日
Eagle-4 若要落地 llama.cpp 和 vLLM,需要实现草稿树的构建与并行验证 kernel,并在连续批处理下正确处理不同序列的接受长度差异。
待验证50%
10月21日
Reddit 社区对 Eagle-4 的 benchmark 数据反应积极,出现“Insane numbers”等评价。
待验证50%
全部知识事实 (6)
待验证
在 Qwen3.8-27B 模型上,Eagle-4 实现了相对 Vanilla(原始自回归解码)3.59 倍的推理加速。
50%待验证Eagle-4 目前仅支持 Qwen3.8-27B 这一款模型,尚不支持 Llama、Mistral 等其他主流模型。
50%待验证发帖者表示会密切关注 Eagle-4 落地 llama.cpp 和 vLLM 的进展。
50%待验证Eagle-4 若要落地 llama.cpp 和 vLLM,需要实现草稿树的构建与并行验证 kernel,并在连续批处理下正确处理不同序列的接受长度差异。
50%待验证Reddit 社区对 Eagle-4 的 benchmark 数据反应积极,出现“Insane numbers”等评价。
50%待验证Eagle-4 已正式发布。
50%