DeltaStreamer
一种流式视频理解框架,模仿人类边看边记变化、被问再查证的方式,结合变化感知记忆、查询驱动规划与定向回放,解决流式场景下事件过渡模糊和缺失证据不可恢复的问题
时间轴 (近 90 天)
DeltaStreamer 提出变化感知回放机制,仅存储状态增量而非完整状态,从而在保留视频世界模型时间动态的同时大幅降低内存占用和延迟。
DeltaStreamer 由三个核心组件构成:变化感知记忆、查询驱动规划器和定向证据收集与回放。
变化感知记忆在查询到来之前,显式地将视觉变化写入结构化记忆,记忆条目是'变化'本身而非静态快照。
查询驱动规划器在收到查询后,判断需要哪些证据、证据是否已在记忆中、若不在则需回看哪段历史帧,输出证据获取路径而非答案。
定向回放机制使智能体在推理阶段可重新访问原始视频帧,从像素层面恢复观察阶段未被写入文本描述的视觉细节。
DeltaStreamer 是一种流式视频理解方法,其核心设计是模仿人类的'连续观察与主动调查相结合'的方式,而非将视频历史压缩为单一摘要。
DeltaStreamer 在 StreamingBench 基准上取得总体得分 59.53%。
DeltaStreamer 在 OVO-Bench 和 StreamingBench 两个基准上相较代表性方法均取得提升,论文强调提升来自连续观察与主动调查的连接而非单一模块改进。
DeltaStreamer 的项目主页已公开。
DeltaStreamer 在 OVO-Bench 基准上取得总体得分 66.07%。
全部知识事实 (10)
DeltaStreamer 提出变化感知回放机制,仅存储状态增量而非完整状态,从而在保留视频世界模型时间动态的同时大幅降低内存占用和延迟。
50%待验证DeltaStreamer 由三个核心组件构成:变化感知记忆、查询驱动规划器和定向证据收集与回放。
50%待验证变化感知记忆在查询到来之前,显式地将视觉变化写入结构化记忆,记忆条目是'变化'本身而非静态快照。
50%待验证查询驱动规划器在收到查询后,判断需要哪些证据、证据是否已在记忆中、若不在则需回看哪段历史帧,输出证据获取路径而非答案。
50%待验证定向回放机制使智能体在推理阶段可重新访问原始视频帧,从像素层面恢复观察阶段未被写入文本描述的视觉细节。
50%待验证DeltaStreamer 是一种流式视频理解方法,其核心设计是模仿人类的'连续观察与主动调查相结合'的方式,而非将视频历史压缩为单一摘要。
50%待验证DeltaStreamer 在 StreamingBench 基准上取得总体得分 59.53%。
50%待验证DeltaStreamer 在 OVO-Bench 和 StreamingBench 两个基准上相较代表性方法均取得提升,论文强调提升来自连续观察与主动调查的连接而非单一模块改进。
50%待验证DeltaStreamer 在 OVO-Bench 基准上取得总体得分 66.07%。
50%待验证DeltaStreamer 的项目主页已公开。
50%