AskStream：流式视频理解下的主动提问新范式

多模态大语言模型的进步正在改变视频理解的交互方式。从离线处理到流式响应，再到主动交互，模型正从被动回答者转变为能够决定“何时作答”的主动智能体。然而，现有主动范式普遍假设回答查询所需的信息是完整的，模型只需在等待与回答之间选择。现实中，视频或用户带来的不确定性常使信息不完整，导致模型陷入无限等待或产生严重幻觉。针对这一痛点，研究者提出将“提问”作为第三种主动动作，并推出首个多轮基准AskStream，系统评估模型在不确定性下“何时问”与“问什么”的能力。

从等待到提问：主动交互的第三次跃迁

传统视频理解模型遵循离线范式，接收完整视频后输出答案。流式理解将其推进到在线场景，模型需在视频流中判断何时响应。主动交互进一步赋予模型“等待”或“回答”的决策权，使其更接近真实助手。但论文指出，这种二元决策框架隐含了一个强假设：所需信息终将完整出现。当视频内容模糊、遮挡，或用户查询本身存在歧义时，模型若一味等待可能永远得不到答案，若强行回答则容易产生幻觉。

因此，作者主张将主动交互重新定义为三种动作：等待、提问、回答。提问动作让模型主动向用户寻求缺失信息，从而在不确定性中推进对话。这一转变将模型从“信息接收者”升级为“信息协作者”，更贴合现实场景中信息不完整的常态。

流式视频理解指模型在视频数据持续到达的过程中进行在线推理，而非等待整段视频处理完毕。与离线范式不同，流式模型必须在任意时刻对“当前已观测到的片段”作出判断，因此面临部分可观测性问题：后续帧可能包含关键信息，也可能永远不出现。这要求模型具备时序决策能力，即根据已积累的证据动态评估信息充分性。主动交互将这一能力扩展到“是否响应”的层面，而三动作框架进一步要求模型在信息不足时主动向用户发起询问，从而把部分可观测问题转化为可交互求解的协作过程。

AskStream基准：量化“何时问”与“问什么”

为研究模型在回答前应如何提问，研究团队构建了AskStream，这是首个覆盖视频不确定性与用户不确定性的多轮流式视频理解基准。基准包含四个任务类别和八个子任务，涵盖438个视频，并人工标注了2,714个帧级时间窗口，每个窗口对应三种动作类型：等待、提问、回答。这种细粒度标注使评估不再局限于最终答案正确性，而是深入到决策时机与提问内容的质量。

在评估方法上，作者同时设置了多项选择与开放式两种场景，并提出Ask-F1指标，综合衡量模型在“何时问”和“问什么”上的表现。实验结果显示，即使最强模型在该指标上也仅达到52.18%，暴露出当前模型在不确定性下主动信息寻求能力的显著不足。

Ask-F1是论文为评估主动提问策略设计的综合指标，其核心思想是将“何时问”与“问什么”拆解为可量化的匹配问题。具体而言，基准为每个帧级时间窗口标注了标准动作（等待/提问/回答）以及提问时应涉及的关键信息点。Ask-F1在时间维度上衡量模型选择提问的时机与标注窗口的重合程度，在内容维度上衡量模型提出的问题是否覆盖了缺失的关键信息，二者以调和平均方式综合。该指标区别于传统答案正确率，能够惩罚“该问不问”和“不该问乱问”两类错误，从而更全面地反映模型在不确定性下的交互策略质量。

不确定性来源与任务设计

AskStream将不确定性分为两类：视频不确定性与用户不确定性。视频不确定性源于画面模糊、目标遮挡、事件未发生等视觉信息缺失；用户不确定性则来自查询歧义、指代不明或意图模糊。基准的四个任务类别围绕这两类不确定性展开，要求模型在流式过程中动态判断当前信息是否足以作答。

例如，当视频中目标尚未清晰出现时，模型应选择等待；当用户问题缺少关键指代时，模型应主动提问澄清；当信息充分时，模型才应给出回答。这种三动作框架将传统“回答正确率”评估扩展为对交互策略的全面考察。

用户不确定性与视频不确定性有本质区别：后者源于客观视觉证据的缺失，前者则源于自然语言查询本身的歧义性。例如，“他刚才说的那个东西”中的指代对象可能依赖对话历史或用户共享的语境知识，仅凭视频画面无法消解。在流式场景下，用户不确定性还表现为意图随时间漂移——用户可能在视频播放过程中修正或细化问题。这要求模型不仅感知视觉信息是否充分，还需对查询的语义完整性进行推理，并决定是通过提问澄清还是等待更多上下文。AskStream将两类不确定性分开标注，使得评估能够定位模型究竟在哪种不确定性下表现更弱。

性能瓶颈与未来方向

52.18%的Ask-F1分数意味着现有模型在主动提问上仍有较大提升空间。论文分析指出，模型在判断“何时问”时容易过早或过晚行动，在“问什么”上则常提出无关或冗余问题。这反映出当前多模态模型对不确定性的感知与推理能力不足，也缺乏针对提问策略的训练数据。

AskStream的推出为这一方向提供了可量化的研究基础。未来工作可能围绕三方面展开：构建更大规模的多轮提问训练数据、设计不确定性感知的奖励机制、以及将提问能力融入端到端流式视频理解系统。对于实际应用而言，能够主动提问的视频助手在远程协助、无障碍描述、智能监控等场景中具有明确价值。

结语

AskStream的核心贡献在于将“提问”正式纳入流式视频理解的主动交互框架，并用细粒度基准揭示了当前模型的短板。从等待到回答的二元决策，到等待、提问、回答的三元策略，这一转变不仅是技术上的扩展，更是对真实交互中信息不完整常态的回应。尽管最强模型仅52.18%的Ask-F1表明前路漫长，但基准的建立为后续研究提供了清晰的度量标尺。