[控场AI]
概念

LoopFill

一种无需训练的投机解码算法,将多token后缀草稿与浅层循环预测结合到单一草稿树中,用于加速循环Transformer的自回归解码。

时间轴 (近 90 天)

11月17日

LoopFill是一种无需训练的投机解码算法,将多token后缀草稿与浅层循环预测结合到单一草稿树中。

待验证50%
11月17日

在七个基准测试上,LoopFill相比贪心自回归解码在Ouro-2.6B上实现了5.85倍的平均加速。

待验证50%
11月17日

在七个基准测试上,LoopFill相比贪心自回归解码在Huginn-3.5B上实现了5.13倍的平均加速。

待验证50%
11月17日

LoopFill比最强基线LoopAhead在Ouro-2.6B上高出40%的加速。

待验证50%
11月17日

LoopFill比最强基线LoopAhead在Huginn-3.5B上高出25%的加速。

待验证50%
11月17日

LoopFill的共享块在一个批次中计算不同循环深度的最高分草稿候选,全深度验证保留了模型的自回归输出分布。

待验证50%
11月17日

LoopFill的无需训练特性使其易于部署,而全深度验证保证了生成质量。

待验证50%
11月17日

LoopFill主要适用于循环架构,对标准Transformer的通用性仍需进一步验证。

待验证50%

全部知识事实 (8)

来源文章