[控场AI]
· 4 分钟阅读· 2,365 字

Spool:混合视觉语言模型的低延迟流式推理新框架

Spool:混合视觉语言模型的低延迟流式推理新框架

Spool利用循环更新的仿射性质,实现混合VLM滑动窗口的精确帧淘汰,大幅降低延迟并提升精度。

Spool是一个无需训练的框架,旨在解决混合视觉语言模型在流式视频理解中维护滑动窗口代价高昂的问题。混合模型中的循环层将所有历史帧压缩进一个共享状态,导致淘汰旧帧时必须重放整个窗口。Spool利用循环更新的仿射性质,将每帧对状态的影响表示为可结合组合的变换,并为每帧缓存这些变换,从而在窗口滑动时精确移除旧帧的影响而无需重放。在五个开源混合VLM和四个视频推理基准的20组测试中,Spool均取得最低p95首令牌时间,几何平均较vLLM基线降低6.6倍,同时准确率平均提升2.3个百分点。该工作为实时视频理解应用提供了有前景的基础设施层创新,但跨层完全解耦和工程集成复杂度仍是待解决的问题。

视觉无障碍助手、机器人等应用需要针对最近一段视频内容(例如过去两分钟)快速回答问题。混合视觉语言模型(VLM)将注意力机制与门控DeltaNet(GDN)等线性循环层交错堆叠,在这类场景中颇具吸引力,但维护滑动窗口的代价高昂:循环层会将所有历史帧压缩进一个共享状态,因此要淘汰旧帧,通常不得不将整个窗口重新送入模型运行一遍。

Spool论文标题截图

问题根源:循环状态的“全量重放”困境

在标准Transformer中,键值缓存允许逐帧淘汰,而混合模型中的循环层打破了这一便利。由于循环更新将全部历史信息编码进一个固定维度的状态,任何一帧的移除都会改变后续所有帧的累积结果。最直接的解决方案是重放整个窗口,但计算开销随窗口长度线性增长,对于需要低延迟响应的实时应用来说难以接受。

Spool的作者注意到一个关键性质:循环更新对状态是仿射的,且系数依赖于输入。这意味着每一帧对状态的影响可以表示为一个变换,而这些变换之间满足结合律——它们可以像卷轴一样被组合和拆解。

键值缓存(KV Cache) 是Transformer推理中的核心优化技术:在自回归生成时,模型将已处理 token 的键(Key)和值(Value)向量存储在内存中,后续步骤直接复用,避免重复计算。对于视频流场景,这意味着可以逐帧淘汰最早的键值对,仅需从缓存中删除对应条目,计算代价为 O(1)。然而,混合模型中的循环层(如 GDN)不维护显式的键值对,而是将所有历史信息压缩进一个固定维度的循环状态(recurrent state)。每次新帧到来时,状态通过一个非线性更新函数被改写,旧帧的信息与当前状态不可分离。因此,要移除某一帧的影响,无法像 KV Cache 那样直接删除条目,而必须从该帧开始重放后续所有帧的更新,这就是“全量重放”困境的根源。

Spool的核心机制:变换缓存与关联组合

Spool是一个无需训练的框架,它为每一帧缓存状态变换,并在窗口滑动时高效地组合这些变换。当旧帧过期时,Spool直接从循环层的状态中移除其影响,而无需将帧重新送入骨干网络。这种移除在每个循环层内部是精确的;不过,与注意力机制中的键值淘汰类似,过期帧仍可能通过早期层计算出的缓存输入保留残余影响。

为了将缓存与组合的开销降到最低,研究团队设计了专用的数据结构和GPU内核。这套底层优化使得Spool在实际部署中能够真正兑现低延迟的承诺,而不是停留在理论上的优雅。

仿射变换 在数学上指形如 ( y = Ax + b ) 的映射,其中 ( A ) 是线性变换矩阵,( b ) 是平移向量。在 Spool 所针对的循环层中,状态更新可写成 ( s_t = A_t s_{t-1} + b_t ),其中 ( A_t ) 和 ( b_t ) 由当前输入帧决定。这种结构的关键好处是:多个连续帧的更新可以复合为单个仿射变换——若第一帧对应 ( (A_1, b_1) ),第二帧对应 ( (A_2, b_2) ),则两帧联合效果为 ( s_2 = A_2 A_1 s_0 + A_2 b_1 + b_2 )。复合运算满足结合律,因此可以预先将窗口内所有帧的变换组合成一个总变换,也可以按相反顺序“拆解”以移除某一帧。Spool 正是利用这一代数性质,为每帧缓存其仿射参数,从而在窗口滑动时以组合/拆解代替重放。

实验表现:延迟与精度的双重收益

在五个开源混合VLM和四个视频推理基准上,Spool在全部20组模型-基准测试中均取得了最低的p95首令牌时间(time-to-first-token),相较于两个近期vLLM基线中较快的一个,几何平均降低了6.6倍。同时,准确率平均提升了2.3个百分点。

这一结果值得注意的地方在于,延迟的降低并未以精度为代价——通常淘汰历史信息会损害模型对上下文的理解,但Spool的精确移除机制在每个循环层内避免了信息污染,从而在加速的同时保持了推理质量。

p95 首令牌时间(time-to-first-token, TTFT) 是衡量交互式推理系统响应速度的关键指标:它表示从请求发出到模型生成第一个输出 token 所需时间的第 95 百分位数。与平均延迟相比,p95 更能反映尾部延迟——即最慢的 5% 请求的体验,这对视觉无障碍助手、机器人控制等实时应用尤为重要,因为偶发的长延迟会直接破坏用户体验或导致控制失败。Spool 报告几何平均降低 6.6 倍,意味着在多数请求上延迟改善显著,且尾部延迟也得到系统性压缩,而不仅仅是平均值被拉低。

对流式视频理解的意义

Spool的价值在于它为混合VLM的流式部署扫清了一个关键障碍。视觉无障碍代理需要近乎即时地描述周围环境,机器人需要根据最近几秒的视频做出反应,这些场景对首令牌延迟极其敏感。Spool通过训练无关的方式,让现有的混合模型能够以滑动窗口模式高效运行,而无需重新训练或修改模型架构。

当然,Spool并非没有边界:过期帧通过缓存输入产生的残余影响意味着“精确移除”仅在层内成立,跨层的完全解耦仍是一个开放问题。此外,专用数据结构和GPU内核的实现复杂度较高,社区能否快速复现并集成到主流推理框架中,将决定其实际影响力。

总结

Spool利用循环更新的仿射性质和变换的结合律,为混合视觉语言模型的滑动窗口推理提供了一种无需重放历史帧的精确淘汰方案。在多个开源模型和基准上,它同时改善了延迟和精度,为实时视频理解应用提供了一个有前景的基础设施层创新。

#Spool#混合视觉语言模型#流式推理#低延迟推理#滑动窗口#门控DeltaNet#视频理解
分享:

相关推荐