DeltaStreamer：类人智能体如何理解流式视频

流式视频理解长期面临一个尴尬的现实：系统必须在不知道未来会问什么的情况下，决定记住什么、忘掉什么。压缩太狠会丢失关键细节，压缩太松则难以实时运行。更麻烦的是，一旦细节被丢弃，后续几乎无法找回。

最新提出的 DeltaStreamer 试图从这个困境中跳出来。它不再把视频历史压成一段摘要，而是模仿人类"边看边记变化、被问再去查证"的方式，把连续观察和主动调查结合起来。

现有方法的两个硬伤

论文指出，当前流式视频理解方法存在两个相互关联的问题。

第一，事件过渡被模糊化。为了控制内存占用，许多方法把连续帧压缩成稠密描述，但在这个过程中，"发生了什么变化"往往被抹平，只剩下"画面里有什么"。对于需要理解动作先后、状态切换的查询，这种表示天然吃亏。

第二，缺失的视觉证据不可恢复。压缩是有损的，一旦某个细节在观察阶段被判定为不重要而未保留，后续查询再需要它时，系统没有任何机制把它找回来。这与人类不同——人可能记不住车牌号，但只要录像还在，就可以回看。

DeltaStreamer 的设计正是围绕这两个缺口展开。

**流式视频理解（streaming video understanding）**指的是系统在视频持续到达的过程中实时进行理解与问答，而非等到整段视频结束后再离线处理。这一设定对内存和算力构成刚性约束：系统无法把全部历史帧都保留在显存或上下文窗口中，必须在观察的同时不断做出"保留还是丢弃"的决策。这与传统的离线视频问答形成鲜明对比——后者可以访问完整视频，检索和注意力机制能够自由回看任意片段。流式场景下，这种自由被剥夺，因此压缩策略和记忆管理成为决定系统上限的核心变量，也是 DeltaStreamer 这类工作的问题起点。

变化感知记忆：记录"怎么变"而非"有什么"

DeltaStreamer 的第一个核心组件是变化感知记忆（change-aware memory）。在查询到来之前，智能体持续观察视频流，并显式地将视觉变化写入结构化记忆。

这里的关键词是"显式"。它不只记录当前画面中存在的物体或场景，而是保留事件如何一步步展开。换句话说，记忆的条目是"变化"本身，而非静态快照。这样，事件过渡不会被压缩过程吞掉，时间线上的因果关系得以保留。

这种设计思路接近人类的叙事记忆：我们回忆一段经历时，往往先想起"先发生了什么、然后发生了什么"，而不是逐帧的画面清单。

**稠密描述（dense captioning）**是指对视频帧或片段生成覆盖物体、场景、动作等要素的自然语言描述，常见做法是每隔若干帧调用一次视觉语言模型（VLM）生成一段文本，再把这些文本作为历史记忆。这种表示的好处是紧凑、可直接送入语言模型，但代价是高度有损：描述通常聚焦"画面里有什么"，对动作之间的时序衔接、状态切换的触发条件往往一笔带过。当查询涉及"它是在什么时候开始移动的"这类问题时，稠密描述无法提供足够的时序分辨率。DeltaStreamer 的"变化感知"正是针对这一表示缺陷，把记忆单元从静态描述改写为显式的变化事件。

查询驱动规划：先判断需要什么，再去取

当查询到达时，DeltaStreamer 不会直接对现有记忆做检索了事，而是启动一个查询驱动规划器（query-driven planner）。

规划器的作用是判断：要回答这个问题，需要哪些证据？这些证据是否已经在记忆里？如果不在，应该回看哪一段历史帧？

这一步把"理解"从被动匹配变成了主动取证。规划器输出的不是答案，而是一条证据获取路径，指导后续的记忆检索和定向回放。

定向回放：把丢掉的细节找回来

**定向证据收集与回放（targeted evidence gathering with replay）**是 DeltaStreamer 最具突破性的环节。

当规划器发现记忆中的描述不足以支撑回答时，智能体会重新访问历史帧，从原始像素中恢复观察阶段未能保留的视觉细节。最终答案是建立在这些"超出已有描述"的证据之上的，而不是仅仅依赖压缩后的文本记忆。

这一点直接回应了前文提到的第二个硬伤。回放机制相当于给系统开了一个后门：即使观察阶段判断失误漏掉了信息，只要视频还在，就有补救机会。

**定向回放（replay）**在技术上要求系统在推理阶段仍能访问原始视频帧或帧索引，而非只保留压缩后的文本。这意味着底层需要维护一个可寻址的视频存储，并具备根据时间戳或事件边界快速定位、抽取相关片段的能力。与基于检索增强生成（RAG）的文本记忆不同，回放的证据来自像素层面，因此可以恢复描述阶段完全没写进文本的信息，例如车牌号、手势细节、短暂出现又消失的物体。代价是额外的存储与读取开销，以及规划器必须准确指出"该回看哪一段"，否则回放会退化为盲目扫描。

连续观察与主动调查的缝合

把三个组件串起来看，DeltaStreamer 真正想做的是打通两种此前分离的能力：连续观察和主动调查。

观察阶段负责广度，用变化感知记忆覆盖整条时间线；调查阶段负责深度，根据具体问题定向深挖。两者通过规划器连接，形成一个闭环。论文将其描述为"受人类如何观察、记忆和调查启发"，这个类比并不牵强。

实验结果

在两个流式视频理解基准上，DeltaStreamer 相较代表性方法取得提升：

• OVO-Bench：总体得分 66.07%
• StreamingBench：总体得分 59.53%

论文强调，这些提升来自"将连续观察与针对每个问题的主动调查相连接"，而非单一模块的孤立改进。

OVO-Bench 与 StreamingBench 是近两年专为流式/在线视频理解设计的评测基准，区别于传统的离线视频问答数据集。它们的核心特点是模拟"边看边答"：模型在第 t 时刻只能看到此前到达的帧，却要回答可能涉及任意历史时刻的问题。这类基准通常包含回忆过去事件、感知当前状态、预测未来走向等不同任务类型，能够暴露模型在记忆保持与时效响应上的权衡。因此，在这两个基准上的得分提升，比在离线数据集上的提升更能说明流式场景下的真实能力，也解释了为何论文将结果作为核心论据。

值得关注的信号

DeltaStreamer 的价值不只在分数。它提出了一个值得行业思考的问题：流式视频理解是否一定要在"记住多少"上做一次性取舍？

它的答案是——不必。让记忆记录变化，让查询驱动取证，让回放兜底细节。这套组合把有损压缩的不可逆问题，转化成了可回退的检索问题。对于需要长时监控、实时问答、视频智能体的场景，这个思路可能比单纯堆大模型更实用。

项目主页已公开，感兴趣的读者可以进一步查看实现细节。