LoopFill
一种无需训练的投机解码算法,将多token后缀草稿与浅层循环预测结合到单一草稿树中,用于加速循环Transformer的自回归解码。
时间轴 (近 90 天)
LoopFill是一种无需训练的投机解码算法,将多token后缀草稿与浅层循环预测结合到单一草稿树中。
在七个基准测试上,LoopFill相比贪心自回归解码在Ouro-2.6B上实现了5.85倍的平均加速。
在七个基准测试上,LoopFill相比贪心自回归解码在Huginn-3.5B上实现了5.13倍的平均加速。
LoopFill比最强基线LoopAhead在Ouro-2.6B上高出40%的加速。
LoopFill比最强基线LoopAhead在Huginn-3.5B上高出25%的加速。
LoopFill的共享块在一个批次中计算不同循环深度的最高分草稿候选,全深度验证保留了模型的自回归输出分布。
LoopFill的无需训练特性使其易于部署,而全深度验证保证了生成质量。
LoopFill主要适用于循环架构,对标准Transformer的通用性仍需进一步验证。
全部知识事实 (8)
LoopFill是一种无需训练的投机解码算法,将多token后缀草稿与浅层循环预测结合到单一草稿树中。
50%待验证在七个基准测试上,LoopFill相比贪心自回归解码在Ouro-2.6B上实现了5.85倍的平均加速。
50%待验证在七个基准测试上,LoopFill相比贪心自回归解码在Huginn-3.5B上实现了5.13倍的平均加速。
50%待验证LoopFill比最强基线LoopAhead在Ouro-2.6B上高出40%的加速。
50%待验证LoopFill比最强基线LoopAhead在Huginn-3.5B上高出25%的加速。
50%待验证LoopFill的共享块在一个批次中计算不同循环深度的最高分草稿候选,全深度验证保留了模型的自回归输出分布。
50%待验证LoopFill的无需训练特性使其易于部署,而全深度验证保证了生成质量。
50%待验证LoopFill主要适用于循环架构,对标准Transformer的通用性仍需进一步验证。
50%