模型ProVe-lossless
ProVe
一种反转投机解码角色分配的推理加速方法,将大模型微调为提案者,一次前向预测未来多个token,再用额外前向验证,无需额外草稿头。
时间轴 (近 90 天)
10月21日
ProVe 让大模型自身作为提案者,一次前向预测未来多个 token,再用额外一次前向完成验证。
待验证50%
10月21日
ProVe 在 32B 模型上实现了平均 2.5 倍的吞吐提升,且无需训练额外的草稿头。
待验证50%
10月21日
在 GSM8K 数据集上,当块大小为 16 时,ProVe 提案块与 AR 解码的平均匹配前缀长度为 6.6 个 token。
待验证50%
10月21日
引入 3B 小验证者时,ProVe 达到平均 2.7 倍吞吐量,但六任务平均准确率比 AR 低 2.6 个百分点。
待验证50%
10月21日
ProVe 使用 32B 提案者在六个基准测试上评估。
待验证50%
10月21日
ProVe 的核心创新在于将大模型本身微调为提案者进行块级预测,避免训练独立草稿头,简化部署。
待验证50%
10月21日
小验证者(3B)是一种有损加速模式,其评分标准与提案者不完全一致,可能导致输出分布偏移和准确率下降。
待验证50%
全部知识事实 (7)
待验证
ProVe 让大模型自身作为提案者,一次前向预测未来多个 token,再用额外一次前向完成验证。
50%待验证ProVe 在 32B 模型上实现了平均 2.5 倍的吞吐提升,且无需训练额外的草稿头。
50%待验证在 GSM8K 数据集上,当块大小为 16 时,ProVe 提案块与 AR 解码的平均匹配前缀长度为 6.6 个 token。
50%待验证引入 3B 小验证者时,ProVe 达到平均 2.7 倍吞吐量,但六任务平均准确率比 AR 低 2.6 个百分点。
50%待验证ProVe 使用 32B 提案者在六个基准测试上评估。
50%待验证ProVe 的核心创新在于将大模型本身微调为提案者进行块级预测,避免训练独立草稿头,简化部署。
50%待验证小验证者(3B)是一种有损加速模式,其评分标准与提案者不完全一致,可能导致输出分布偏移和准确率下降。
50%