SAPO：用自监督注意力策略优化突破视频时序定位瓶颈

视频视觉语言模型（VLM）在语义理解上表现强劲，但在精确时序定位任务上却常常“知道却说不准”。一篇来自arXiv的最新研究揭示了这一矛盾背后的原因，并提出了一种无需人工标注的解决方案——自监督注意力策略优化（SAPO）。

时序生成差距：VLM的“知道”与“说出”之间存在鸿沟

研究团队在四个VLM和两个定位数据集上进行了分析，发现了一个一致的现象：在约66%的有效样本中，模型内部注意力机制所指示的时间区间，比模型最终预测输出的时间戳更为准确。他们将这一现象命名为“时序生成差距”（temporal generation gap）。

这个发现的意义在于，它表明VLM并非缺乏定位能力，而是在将内部表征转化为具体时间戳时丢失了精度。换句话说，模型“心里有数”，但“嘴上说不准”。这一洞察为改进时序定位指明了新方向：与其费力提升模型的感知能力，不如设法让模型更准确地表达它已经知道的信息。

mIoU（mean Intersection over Union，平均交并比） 是时序定位任务中最常用的评价指标。对每个样本，将预测时间区间与真实区间求交集、再除以它们的并集，得到一个 0 到 1 之间的 IoU 值；对所有样本取平均即得 mIoU。IoU 为 1 表示预测与真值完全重合，为 0 表示毫无重叠。由于它同时惩罚区间位置偏移和长度偏差，比单纯的时间戳误差更能反映定位质量。本文报告的“相对 mIoU 增益”指改进后 mIoU 相对基线的百分比提升，例如 33.7% 的增益意味着在 Qwen2.5-VL-3B 上定位精度有大幅跃升。

SAPO的核心思路：用注意力做自监督信号

既然精确的时序标注成本高昂，研究团队转向了无标注视频-查询对。SAPO的关键创新在于将模型内部的时序注意力作为自监督信号，驱动组相对策略优化（Group Relative Policy Optimization, GRPO）。

具体而言，SAPO利用注意力区间作为“伪标签”来评估预测质量，并设计了一个无需真实标注的筛选准则，用于挑出高价值的训练样本。这种方法绕过了对人工标注的依赖，同时直接针对“时序生成差距”进行优化。

组相对策略优化（GRPO） 是 DeepSeek^广告 团队提出的一种强化学习算法，最初用于提升大语言模型的推理能力。与传统 PPO（近端策略优化）需要额外训练一个价值网络（critic）来估计基线不同，GRPO 对同一个输入采样一组多个输出（group），直接以组内奖励的均值作为基线来计算优势函数。这样做省去了价值网络，显著降低了显存和计算开销。在本研究中，GRPO 被用来微调 VLM 的时间戳生成策略：模型对同一视频-查询对生成多个候选时间区间，SAPO 用注意力区间构造的奖励对它们打分，组内相对比较后更新策略，使模型倾向于输出更接近其内部注意力所指示区间的结果。

视觉语言模型（VLM）的时序注意力 指模型在处理视频帧序列时，跨模态注意力层为每一帧分配的权重。当用户提出“某事件何时发生”这类查询时，与查询语义相关的帧通常会获得更高的注意力权重，这些权重沿时间轴形成一条分布曲线。将该曲线平滑并取阈值以上的连续区间，就得到模型“内部认为”的事件时间段。SAPO 正是把这一注意力导出的区间当作伪标签：它反映的是模型在生成最终文本输出之前的内部判断，因而绕开了人工标注，也天然对齐了模型自身的表征。

实验结果：跨模型、跨数据集的稳定提升

SAPO在多个数据集和模型上均带来了稳定的时序定位提升，覆盖了从弱到强的初始定位能力。相对mIoU增益在Qwen2.5-VL-3B上达到33.7%，在较强的Time-R1-7B上也有5.4%的提升。

有意思的是，这种改进可以跨数据集迁移，并且在提升定位精度的同时，模型在通用视频理解任务上的表现并未受损。这意味着SAPO带来的是一种“无损”的能力增强。

启示与展望

SAPO的价值不仅在于具体的技术方案，更在于它揭示了一个可复用的思路：模型内部表征中可能已经蕴含了完成任务所需的信息，关键是如何设计自监督信号将其释放出来。对于视频时序定位这类标注昂贵的任务，这种“向内挖掘”的策略尤其具有吸引力。

未来，类似思路或许可以扩展到其他需要精确输出的多模态任务中，例如空间定位或细粒度动作识别。SAPO的出现提醒我们，有时候提升模型性能不一定需要更多的标注数据，而是需要更聪明地利用模型自身已有的知识。