TreeSpark
一种针对推测解码的自适应草稿树构建方法,通过路径存活率校准与负载自适应服务策略,优化半自回归草稿器的树结构扩展,在保持解码无损性的前提下提升推理速度。
时间轴 (近 90 天)
TreeSpark 是一套针对草稿树优化的方法,提出了经过校准、负载自适应的草稿树构建方法,专为半自回归草稿器设计
TreeSpark 从草稿器已有的 Markov 头读取父节点条件分布,并将其校准成边接受估计,用于判断每条边被目标模型接受的可能性
TreeSpark 让路径存活率支配最优优先扩展、逐轮停止和负载自适应服务策略三个决策
TreeSpark 采用无放回采样兄弟节点,并在递归拒绝采样中匹配残差,从而在任意温度下保持解码结果与目标模型分布一致
在匹配的固定预算下,TreeSpark 的自适应树在每一个温度上都优于固定树
相对于同一草稿器上调优过的链式方案,TreeSpark 每轮多接受15-25%的草稿token
在单请求的墙钟时间上,TreeSpark 的解码速度提升8-14%
在负载上升时,TreeSpark 能将树收缩回链式结构以避免高负载下的资源浪费
TreeSpark 报告的加速数字是在特定草稿器和对比基线下测得,实际收益会随模型规模、任务类型和硬件配置而变化
TreeSpark 已在 GitHub(PopSoda2002/TreeSpark)开源代码与实验产物
全部知识事实 (10)
TreeSpark 是一套针对草稿树优化的方法,提出了经过校准、负载自适应的草稿树构建方法,专为半自回归草稿器设计
50%待验证TreeSpark 从草稿器已有的 Markov 头读取父节点条件分布,并将其校准成边接受估计,用于判断每条边被目标模型接受的可能性
50%待验证TreeSpark 让路径存活率支配最优优先扩展、逐轮停止和负载自适应服务策略三个决策
50%待验证TreeSpark 采用无放回采样兄弟节点,并在递归拒绝采样中匹配残差,从而在任意温度下保持解码结果与目标模型分布一致
50%待验证在匹配的固定预算下,TreeSpark 的自适应树在每一个温度上都优于固定树
50%待验证相对于同一草稿器上调优过的链式方案,TreeSpark 每轮多接受15-25%的草稿token
50%待验证在单请求的墙钟时间上,TreeSpark 的解码速度提升8-14%
50%待验证在负载上升时,TreeSpark 能将树收缩回链式结构以避免高负载下的资源浪费
50%待验证TreeSpark 报告的加速数字是在特定草稿器和对比基线下测得,实际收益会随模型规模、任务类型和硬件配置而变化
50%待验证TreeSpark 已在 GitHub(PopSoda2002/TreeSpark)开源代码与实验产物
50%