VideoLVR
一篇关于视频理解中潜视觉推理的论文，提出用潜视觉状态作为视觉证据来缓解视觉遗忘问题，统一视觉重建与文本生成的token预测框架，并可扩展到强化学习优化。
时间轴 (近 90 天)
VideoLVR 论文提出在相关视频时刻从局部区域构建潜视觉证据，为中间推理步骤提供视觉支撑。
VideoLVR 将视觉 token 的重建形式化为在由输入视频派生出的词表上做预测，从而将视觉证据重建与文本生成统一进同一个 token 预测框架。
在 VideoLVR 的统一 token 预测框架中，交叉熵损失可同时作用于文本 token 和视觉 token，视觉重建与语言建模共享同一套输出头与训练目标。
论文在多组视频基准上验证了 VideoLVR 方法的有效性，并指出在需要细粒度视觉证据的任务上收益更为突出。
VideoLVR 的强化学习范式需要策略网络学习何时插入视觉证据、从哪个时刻取、取哪块区域。
对于多步定位证据的视频任务，端到端的奖励驱动优化比纯粹的监督学习更贴近实际使用目标。
全部知识事实 (6)
VideoLVR 论文提出在相关视频时刻从局部区域构建潜视觉证据，为中间推理步骤提供视觉支撑。
50%待验证VideoLVR 将视觉 token 的重建形式化为在由输入视频派生出的词表上做预测，从而将视觉证据重建与文本生成统一进同一个 token 预测框架。
50%待验证在 VideoLVR 的统一 token 预测框架中，交叉熵损失可同时作用于文本 token 和视觉 token，视觉重建与语言建模共享同一套输出头与训练目标。
50%待验证论文在多组视频基准上验证了 VideoLVR 方法的有效性，并指出在需要细粒度视觉证据的任务上收益更为突出。
50%待验证VideoLVR 的强化学习范式需要策略网络学习何时插入视觉证据、从哪个时刻取、取哪块区域。
50%待验证对于多步定位证据的视频任务，端到端的奖励驱动优化比纯粹的监督学习更贴近实际使用目标。
50%