[控场AI]
概念LoopCache框架

LoopCache

面向长上下文循环Transformer的自我推测解码加速框架,通过置信度引导的动态草稿更新与循环轮转KV缓存策略,降低跨循环批处理带来的KV缓存内存流量

时间轴 (近 90 天)

11月19日

LoopCache引入置信度引导的动态草稿更新和循环KV缓存策略两项核心技术。

待验证50%
11月19日

LoopCache利用置信度信号在所有中间循环中动态细化草稿,而不是仅在固定循环点生成草稿。

待验证50%
11月19日

LoopCache采用循环轮转方式访问各循环专属的KV缓存,每一步只加载单个循环的KV缓存,将每步KV流量限制在单循环水平。

待验证50%
11月19日

LoopCache对需要批处理的token选择在最近匹配的循环周期上进行批处理,以保证无损验证。

待验证50%
11月19日

实验结果显示,LoopCache相比WFD和LoopSpec分别实现了平均10.25倍和14.56倍的加速。

待验证50%
11月19日

LoopCache通过将每步KV流量限制在单循环水平,同时用置信度引导保持草稿质量,在并行化收益与内存流量之间取得平衡。

待验证50%

全部知识事实 (6)

来源文章