概念
prompt-lookup decoding
一种无模型推测解码方法,直接在 prompt 内部做 n-gram 匹配,将 prompt 中已出现的片段作为草稿,草稿源为静态文本。
时间轴 (近 90 天)
10月26日
SuffixDecoding 和 prompt-lookup decoding 的草稿源为静态或半静态文本,不感知训练过程中 policy 分布的变化。
待验证50%
10月26日
NgramRL 的平均接受长度比 prompt-lookup decoding 高出 7.0 倍。
待验证50%