[控场AI]
论文

TreeSpark

一种针对推测解码的自适应草稿树构建方法,通过路径存活率校准与负载自适应服务策略,优化半自回归草稿器的树结构扩展,在保持解码无损性的前提下提升推理速度。

时间轴 (近 90 天)

9月22日

TreeSpark 是一套针对草稿树优化的方法,提出了经过校准、负载自适应的草稿树构建方法,专为半自回归草稿器设计

待验证50%
9月22日

TreeSpark 从草稿器已有的 Markov 头读取父节点条件分布,并将其校准成边接受估计,用于判断每条边被目标模型接受的可能性

待验证50%
9月22日

TreeSpark 让路径存活率支配最优优先扩展、逐轮停止和负载自适应服务策略三个决策

待验证50%
9月22日

TreeSpark 采用无放回采样兄弟节点,并在递归拒绝采样中匹配残差,从而在任意温度下保持解码结果与目标模型分布一致

待验证50%
9月22日

在匹配的固定预算下,TreeSpark 的自适应树在每一个温度上都优于固定树

待验证50%
9月22日

相对于同一草稿器上调优过的链式方案,TreeSpark 每轮多接受15-25%的草稿token

待验证50%
9月22日

在单请求的墙钟时间上,TreeSpark 的解码速度提升8-14%

待验证50%
9月22日

在负载上升时,TreeSpark 能将树收缩回链式结构以避免高负载下的资源浪费

待验证50%
9月22日

TreeSpark 报告的加速数字是在特定草稿器和对比基线下测得,实际收益会随模型规模、任务类型和硬件配置而变化

待验证50%
9月22日

TreeSpark 已在 GitHub(PopSoda2002/TreeSpark)开源代码与实验产物

待验证50%

全部知识事实 (10)

来源文章