概念LoopCache框架
LoopCache
面向长上下文循环Transformer的自我推测解码加速框架,通过置信度引导的动态草稿更新与循环轮转KV缓存策略,降低跨循环批处理带来的KV缓存内存流量
时间轴 (近 90 天)
11月19日
LoopCache引入置信度引导的动态草稿更新和循环KV缓存策略两项核心技术。
待验证50%
11月19日
LoopCache利用置信度信号在所有中间循环中动态细化草稿,而不是仅在固定循环点生成草稿。
待验证50%
11月19日
LoopCache采用循环轮转方式访问各循环专属的KV缓存,每一步只加载单个循环的KV缓存,将每步KV流量限制在单循环水平。
待验证50%
11月19日
LoopCache对需要批处理的token选择在最近匹配的循环周期上进行批处理,以保证无损验证。
待验证50%
11月19日
实验结果显示,LoopCache相比WFD和LoopSpec分别实现了平均10.25倍和14.56倍的加速。
待验证50%
11月19日
LoopCache通过将每步KV流量限制在单循环水平,同时用置信度引导保持草稿质量,在并行化收益与内存流量之间取得平衡。
待验证50%
全部知识事实 (6)
待验证
LoopCache引入置信度引导的动态草稿更新和循环KV缓存策略两项核心技术。
50%待验证LoopCache利用置信度信号在所有中间循环中动态细化草稿,而不是仅在固定循环点生成草稿。
50%待验证LoopCache采用循环轮转方式访问各循环专属的KV缓存,每一步只加载单个循环的KV缓存,将每步KV流量限制在单循环水平。
50%待验证LoopCache对需要批处理的token选择在最近匹配的循环周期上进行批处理,以保证无损验证。
50%待验证实验结果显示,LoopCache相比WFD和LoopSpec分别实现了平均10.25倍和14.56倍的加速。
50%待验证LoopCache通过将每步KV流量限制在单循环水平,同时用置信度引导保持草稿质量,在并行化收益与内存流量之间取得平衡。
50%