概念block verification
块验证
投机解码的一种变体,草稿模型一次性生成固定长度的token块,目标模型并行验证块内所有token并进行拒绝采样,能更充分利用目标模型的并行计算能力
时间轴 (近 90 天)
11月3日
块验证是投机解码的一种变体,指草稿模型一次性生成一个固定长度的token块,目标模型对该块内所有token并行计算概率并进行验证与拒绝采样。
待验证50%
11月3日
TVP在块验证场景下同样取得最优接受长度。
待验证50%
投机解码的一种变体,草稿模型一次性生成固定长度的token块,目标模型并行验证块内所有token并进行拒绝采样,能更充分利用目标模型的并行计算能力
块验证是投机解码的一种变体,指草稿模型一次性生成一个固定长度的token块,目标模型对该块内所有token并行计算概率并进行验证与拒绝采样。
TVP在块验证场景下同样取得最优接受长度。