P³IBench：视频助手从感知到干预的主动理解评测

当视频助手学会「主动」：一个新基准的诞生

多模态大模型在视频理解上进步飞快，但现有评测大多只关心一件事：模型能不能看懂已经发生的画面。这个设定本身就限制了想象空间——现实里的助手不应该只是被动的描述工具，它还需要判断用户接下来会遇到什么、此刻是否该开口提醒。

针对这一缺口，研究者提出了 P³IBench，一个面向真实流式场景的主动视频理解基准。它把「主动」拆成三种互补能力：日常感知（daily perception）、风险预测（risk prediction）与干预（intervention）。换句话说，模型不仅要描述画面，还要预判风险，并决定是否、以及何时出手。

三类能力，三种考验

日常感知：别把常识当成理所当然

日常感知考察的是模型对连续视频流中普通事件的理解，比如厨房里正在做什么、街头行人的动作意图。这部分看似基础，但流式输入意味着模型必须在信息不完整时持续更新判断，而不是等视频结束再一次性推理。对习惯离线处理的非流式系统而言，这本身就是一道门槛。

流式处理与非流式处理的区别，是理解这个基准的关键前提。非流式系统通常可以访问整段视频，先抽取全部帧、再统一编码推理，相当于「看完再回答」；而流式系统只能按时间顺序接收逐帧或小段输入，且在任意时刻被要求输出判断。这带来两个额外约束：一是因果性，模型不能用未来帧的信息；二是状态维护，模型必须把历史信息压缩进有限的上下文或记忆状态中，并随着新帧不断更新。因此同一个模型在离线设定下表现良好，换成流式设定后可能显著下降——评测的其实是「边看边想」的能力，而非单纯的视觉识别。

交互式视频问答（streaming / interactive video QA） 是这一方向上的相关任务范式，它与 P³IBench 的区别在于：前者通常由用户显式提问触发回答，模型只需在被动应答中保证准确；后者要求模型在没有明确指令的情况下自行决定是否输出，因而把「响应决策」本身变成了评测对象。

风险预测：在事情发生前说出可能

风险预测要求模型基于当前画面推演未来——前方行人是否会突然横穿、灶台上的锅是否即将烧干。这类任务的核心难点不在于识别物体，而在于把视觉线索转化为可操作的时间窗口。预测得太早显得多余，太晚则毫无价值。

干预：知道何时开口，也知道何时闭嘴

干预能力最贴近「助手」二字。模型需要在合适的时机输出提醒或建议，而不是对每一帧都发表意见。论文特别强调了一个容易被忽视的维度：适当的克制（appropriate restraint）。一个不停报警的系统并不比沉默的系统更好，校准过的响应决策才是主动性的真正体现。

响应决策的校准（calibration） 在这里指的是模型对「是否应当出手」这一二元判断的置信度与实际正确率之间的匹配程度。一个校准良好的系统，会在它真正有把握、且情境确实需要提醒时才发言；反之，过度敏感的系统会产生大量误报，用户很快会学会忽略它，这就是常说的「警报疲劳」（alarm fatigue）。在主动助手的语境下，误报的代价往往高于漏报：一次无谓的打断会持续侵蚀用户的信任，而漏报的后果则取决于具体场景。

评测这类能力常用 精确率（precision）与召回率（recall） 的组合来刻画——前者衡量开口的提醒中有多少是必要的，后者衡量真正该提醒的时刻有多少被捕捉到，二者的权衡曲线（如 F1 或 PR-AUC）比单一准确率更能反映「克制」与「及时」之间的平衡。论文强调的适当克制，本质上就是要求模型在这个权衡上落在合理区间，而不是一味追求召回。

12 个模型跑下来，暴露了同一个问题

研究评测了 12 个代表性的开源与专有视频语言模型，既包含流式系统，也包含经过适配的非流式系统。结果并不乐观：当前模型普遍难以做出校准良好的响应决策。

翻译成大白话就是——它们要么该出手时不出手，要么在不该打扰的时候频繁发言。视觉理解能力强的模型，未必在「何时响应」这件事上表现更好，说明主动性的瓶颈并不只在感知层。这也解释了为什么论文标题把感知、预测和干预放在同一条链路上：三者缺一不可，但后两者明显是当前的短板。

训练一个 4B 助手，能补上多少差距？

作者进一步构建了额外的主动训练数据，训练出 P³I-Assistant-4B。这个 40 亿参数规模的助手在多个任务上取得了提升，但论文坦承：不同能力之间的收益并不均衡。

这个不均衡本身是有信息量的。如果加数据就能全面提升，那问题只是数据量不够；而现实是，某些能力提升明显、某些能力停滞，暗示主动视频理解可能需要在架构或训练目标上做更专门的设计，而不是简单地把通用视频数据喂给一个更大的模型。

P³I-Assistant-4B 中的「4B」指模型参数量约为 40 亿。在视频语言模型中，参数规模与主动能力之间并非简单正相关：更大的模型通常在感知与常识推理上更强，但「何时响应」属于时序决策问题，受训练目标与数据分布的影响往往更大。这也是为什么论文发现收益不均衡——用小模型专门做主动训练，可以在特定任务上逼近甚至超过通用大模型，因为主动权重的学习信号是稀缺的，规模优势无法自动弥补。

这类「小而专」的路线在近期多模态研究中反复出现：通过构造带有时序标注（何时该说、该说什么）的训练数据，把主动决策显式建模为监督目标，而不是期待模型从通用视频描述数据中自行习得。它的局限也很明显——专门数据的覆盖范围决定了能力的边界，这也是后续工作需要在数据多样性和规模化上继续推进的原因。

主动助手的下一步，不只是「看得更懂」

P³IBench 的价值在于把评测焦点从「模型看到了什么」推进到「模型该做什么、什么时候做」。它给出的结论很明确：有效的主动协助需要的不仅是视觉理解，还需要精确的响应时机判断和恰当的克制。

对后续研究来说，这意味着两件事。一是评测体系需要覆盖时间维度上的决策质量，而不只是识别准确率；二是模型设计需要显式地建模「是否响应」这个动作，把它当作一个独立的学习目标。当视频助手从描述工具走向真正的协助者，判断力可能比视力更重要。