[控场AI]
概念block verification

块验证

投机解码的一种变体,草稿模型一次性生成固定长度的token块,目标模型并行验证块内所有token并进行拒绝采样,能更充分利用目标模型的并行计算能力

时间轴 (近 90 天)

11月3日

块验证是投机解码的一种变体,指草稿模型一次性生成一个固定长度的token块,目标模型对该块内所有token并行计算概率并进行验证与拒绝采样。

待验证50%
11月3日

TVP在块验证场景下同样取得最优接受长度。

待验证50%

全部知识事实 (2)

来源文章