FastBench：流式VLM能否感知高动态真实视频流？

流式视频大语言模型（Streaming Video LLM）近年成为多模态研究热点，它能在连续视频流中持续理解画面内容。但现有评测基准几乎都聚焦于低动态场景——镜头变化缓慢、事件稀疏、背景稳定。当画面切换到真实世界的高动态流（快速运动、突发动作、密集交互）时，模型的表现究竟如何？最新提出的 FastBench 给出了一个并不乐观的答案。

背景：稀疏采样错过的不只是画面

流式VLM面临一个根本矛盾：上下文预算有限，而视频流是无限长的。在这个约束下，模型必须同时权衡三个维度——时间历史长度、空间分辨率、时间粒度。

常见的工程做法是以 1–2 FPS 进行稀疏采样。这能显著压缩 token 消耗，但代价是直接丢失快速事件。一个在 0.3 秒内完成的动作、一次瞬时的状态切换，在 2 FPS 下根本不会出现在采样帧中。此前缺乏专门针对这一失效模式的评测——FastBench 正是为填补这个空白而设计。

**流式视频大语言模型（Streaming Video LLM）**与传统的离线视频理解模型存在本质差异。离线模型通常先获取完整视频，再做全局采样和编码，可以反复回看任意片段；而流式模型面对的是持续到达、没有终点的视频流，必须在每个时刻基于有限的上下文窗口做出在线判断，且无法预知后续内容。这种"因果性"约束意味着模型不能像离线场景那样事后回溯关键帧，只能依赖当时已经缓存的历史信息。也正因如此，采样策略、历史压缩方式与时间粒度的分配，都会直接决定模型能否捕捉到转瞬即逝的事件。FastBench 所关注的高动态场景，恰恰是最能放大这一矛盾的测试条件。

FastBench 如何构建高动态评测集

FastBench 的核心是一套**轨迹驱动（trajectory-grounded）**的数据流水线，而非简单地从视频中随机抽帧出题。其流程包含四步：

1. 从高帧率片段生成 QA：基于高 FPS 素材构造问题，确保问题本身涉及快速动态信息；
2. 过滤低帧率可答问题：剔除那些在 2 FPS 下仍能正确回答的题目，只保留真正依赖高时间粒度的样本；
3. 使用 SAM3 与 CoTracker3 做轨迹答案验证：借助分割与点追踪模型对答案和证据区间进行自动校验；
4. 三轮人工检查：在自动验证后进行人工复核，控制标注质量。

最终数据集包含 306 个 QA 对，覆盖八个领域、六种能力，并按时间指向划分为前向（forward）、即时（instant）与后向（backward）三类时间范围。每条样本都带有人工标注的证据区间，这意味着评测不仅判断答案对错，还能定位模型是否关注到了正确的时间片段。

**SAM3（Segment Anything Model 3）**是 Meta 分割一切模型系列的新一代版本，支持基于文本提示的开放词汇分割与视频目标跟踪，能够在视频中持续给出目标的分割掩码。CoTracker3 则是专注于稠密点追踪的模型，可对视频中任意像素点进行长时序轨迹预测，即使在遮挡或快速运动下也保持较好的连续性。二者在 FastBench 流水线中的分工是：SAM3 提供目标级的分割与身份一致性，CoTracker3 提供像素级的运动轨迹，两者结合可自动验证某个 QA 的答案是否对应真实发生的动态事件，并给出对应的时间区间。这种"轨迹驱动"验证比单纯依赖人工或纯文本启发式规则更可靠，也为后续的人工复核提供了可追溯的证据。

ProactiveFrame：让模型自己决定“看多密”

除了评测集，作者还提出了一个免训练基线 ProactiveFrame。思路很直接：与其用固定帧率被动接收，不如让模型通过文本 token 主动调整输入帧率——需要精细时间感知时提高采样密度，其余时刻维持稀疏。

配套的双层滑动窗口机制负责管理历史信息：近期帧保留高 FPS 观测，较旧的帧则降采样为稀疏历史，从而在有限上下文内维持“近处精细、远处粗放”的记忆结构。这一设计无需微调即可接入现有流式架构，属于典型的推理期策略优化。

**免训练（training-free）**指的是不修改模型参数、不进行额外微调，仅在推理阶段通过策略调整来改变模型行为。这类方法的最大优势是即插即用：任何已有的流式 VLM 架构都可以直接套用，无需重新训练或标注数据。ProactiveFrame 正是利用这一点——它让模型通过生成特定的文本 token 来"请求"更高的采样密度，相当于把帧率控制变成了语言生成任务的一部分。双层滑动窗口则是一种记忆管理结构：窗口内近期部分保持高帧率观测以捕捉细节，窗口外的旧历史被降采样为稀疏表示以节省上下文。这种"近密远疏"的设计模仿了人类记忆的时间梯度特性，是长视频流理解中常见但有效的工程折中。

实验结果：最强的模型也只有一半正确率

FastBench 上最直观的发现是性能天花板之低：表现最好的模型 Gemini-3.5-Flash 仅得 50.7%，说明当前流式VLM在高动态感知上仍远未达标。

几个进一步的观察值得关注：

• 提高帧率有效，但有上限：Qwen3-VL-8B 从 2 FPS 的 32.9% 提升到 24 FPS 的 44.6%，但随历史被压缩，增益逐渐饱和。这意味着单纯堆采样率并非可持续方案。
• ProactiveFrame 优于均匀稀疏采样：相比稀疏均匀采样分别提升 5.4 和 1.5 个百分点，证明“按需加密”确实带来收益。
• 但远逊于 oracle 引导：ProactiveFrame 与人工/先知式聚焦之间仍有明显差距。换言之，模型很难仅从视频流本身推断出“此刻需要更精细的时间感知”。

最后一点尤其关键：它把问题从“算力不够”转向了“元认知不足”。模型缺的不只是帧，而是判断何时该要更多帧的能力。

高动态流式理解下一步往哪走

FastBench 的价值不只是一个榜单，而是暴露了流式VLM评测中长期被忽视的维度。它提示了几个值得探索的方向：

• 自适应时间采样应从固定策略走向内容驱动，ProactiveFrame 是可训练的起点；
• 证据区间监督可以作为训练信号，帮助模型学会定位关键时刻；
• 上下文压缩与时间粒度的联合优化，而非把两者当作独立超参数调。

代码与数据已开源在 GitHub（Ashone3/FastBench）。对从事视频理解、多模态 Agent 与流式推理的团队而言，这套基准提供了一个检验自身方法是否真正“看得快”的测试床。