SAPO
一种无需人工时序标注的自监督强化学习方法,利用VLM内部时序注意力作为伪标签信号,驱动GRPO优化视频时序定位能力。
时间轴 (近 90 天)
语义感知策略优化(SAPO)的核心是语义感知门控机制,该机制约束来自失败原子子任务的TD残差,阻止其跨任务边界传播。
AtomicRL的真实世界平均21.3%的提升依赖于Real2Sim2Real迁移流程的有效性,而仿真基准上的提升则主要来自SAPO和BATE对信用分配与探索的改进,两者贡献来源不同。
SAPO在Qwen2.5-VL-3B上取得了33.7%的相对mIoU增益。
SAPO在Time-R1-7B上取得了5.4%的相对mIoU增益。
SAPO(自监督注意力策略优化)利用模型内部的时序注意力作为自监督信号,驱动组相对策略优化(GRPO)来提升视频时序定位。
SAPO的核心思路是绕过对人工标注的依赖,直接针对时序生成差距进行优化,让模型更准确地表达其内部已知的信息。
未来类似SAPO的思路或许可以扩展到其他需要精确输出的多模态任务,例如空间定位或细粒度动作识别。
SAPO的改进可以跨数据集迁移,并且在提升定位精度的同时,模型在通用视频理解任务上的表现并未受损。
SAPO利用注意力区间作为伪标签评估预测质量,并设计无需真实标注的筛选准则来挑出高价值训练样本。
全部知识事实 (9)
AtomicRL的真实世界平均21.3%的提升依赖于Real2Sim2Real迁移流程的有效性,而仿真基准上的提升则主要来自SAPO和BATE对信用分配与探索的改进,两者贡献来源不同。
50%待验证语义感知策略优化(SAPO)的核心是语义感知门控机制,该机制约束来自失败原子子任务的TD残差,阻止其跨任务边界传播。
50%待验证SAPO在Qwen2.5-VL-3B上取得了33.7%的相对mIoU增益。
50%待验证SAPO在Time-R1-7B上取得了5.4%的相对mIoU增益。
50%待验证SAPO(自监督注意力策略优化)利用模型内部的时序注意力作为自监督信号,驱动组相对策略优化(GRPO)来提升视频时序定位。
50%待验证SAPO的核心思路是绕过对人工标注的依赖,直接针对时序生成差距进行优化,让模型更准确地表达其内部已知的信息。
50%待验证SAPO的改进可以跨数据集迁移,并且在提升定位精度的同时,模型在通用视频理解任务上的表现并未受损。
50%待验证SAPO利用注意力区间作为伪标签评估预测质量,并设计无需真实标注的筛选准则来挑出高价值训练样本。
50%待验证未来类似SAPO的思路或许可以扩展到其他需要精确输出的多模态任务,例如空间定位或细粒度动作识别。
50%