概念
SuffixDecoding
一种无模型推测解码方法,维护动态后缀树,用当前生成文本的最长后缀匹配历史续写作为草稿,不感知训练过程中 policy 分布的变化。
时间轴 (近 90 天)
10月26日
SuffixDecoding 和 prompt-lookup decoding 的草稿源为静态或半静态文本,不感知训练过程中 policy 分布的变化。
待验证50%
10月26日
NgramRL 的平均接受长度比 SuffixDecoding 最多高出 1.99 倍。
待验证50%
一种无模型推测解码方法,维护动态后缀树,用当前生成文本的最长后缀匹配历史续写作为草稿,不感知训练过程中 policy 分布的变化。
SuffixDecoding 和 prompt-lookup decoding 的草稿源为静态或半静态文本,不感知训练过程中 policy 分布的变化。
NgramRL 的平均接受长度比 SuffixDecoding 最多高出 1.99 倍。