[控场AI]
模型ProVe-lossless

ProVe

一种反转投机解码角色分配的推理加速方法,将大模型微调为提案者,一次前向预测未来多个token,再用额外前向验证,无需额外草稿头。

时间轴 (近 90 天)

10月21日

ProVe 让大模型自身作为提案者,一次前向预测未来多个 token,再用额外一次前向完成验证。

待验证50%
10月21日

ProVe 在 32B 模型上实现了平均 2.5 倍的吞吐提升,且无需训练额外的草稿头。

待验证50%
10月21日

在 GSM8K 数据集上,当块大小为 16 时,ProVe 提案块与 AR 解码的平均匹配前缀长度为 6.6 个 token。

待验证50%
10月21日

引入 3B 小验证者时,ProVe 达到平均 2.7 倍吞吐量,但六任务平均准确率比 AR 低 2.6 个百分点。

待验证50%
10月21日

ProVe 使用 32B 提案者在六个基准测试上评估。

待验证50%
10月21日

ProVe 的核心创新在于将大模型本身微调为提案者进行块级预测,避免训练独立草稿头,简化部署。

待验证50%
10月21日

小验证者(3B)是一种有损加速模式,其评分标准与提案者不完全一致,可能导致输出分布偏移和准确率下降。

待验证50%

全部知识事实 (7)

来源文章