RACER
一种免训练的反思式智能体框架,专为长视频理解中的关键帧选择设计,通过将查询理解与工具检索分工协作并引入反思循环来提升帧选择精度
时间轴 (近 90 天)
RACER 的全称是 Reflective Agent Coupling Query Interpretation and Tool-Based Retrieval
RACER 是一个免训练(training-free)的反思式智能体框架,用于长视频关键帧选择,无需额外模型训练即可部署
RACER 将帧选择任务拆解为两个环节:由轻量级 Vid-LLM 负责把复杂查询改写成一系列子查询,由嵌入模型作为检索工具去定位相关证据帧
RACER 的反思循环设计借鉴了 ReAct、Reflexion 等框架中的自我审视机制
RACER 在多个基准测试上稳定提升了长视频理解的表现
即便使用能力有限的组件,RACER 依然能实现有效的帧选择,弱小组件能协同增强更强大的 Vid-LLM
RACER 相关研究以论文形式发表在 arXiv 上
全部知识事实 (7)
RACER 的全称是 Reflective Agent Coupling Query Interpretation and Tool-Based Retrieval
50%待验证RACER 是一个免训练(training-free)的反思式智能体框架,用于长视频关键帧选择,无需额外模型训练即可部署
50%待验证RACER 将帧选择任务拆解为两个环节:由轻量级 Vid-LLM 负责把复杂查询改写成一系列子查询,由嵌入模型作为检索工具去定位相关证据帧
50%待验证RACER 的反思循环设计借鉴了 ReAct、Reflexion 等框架中的自我审视机制
50%待验证RACER 在多个基准测试上稳定提升了长视频理解的表现
50%待验证即便使用能力有限的组件,RACER 依然能实现有效的帧选择,弱小组件能协同增强更强大的 Vid-LLM
50%待验证RACER 相关研究以论文形式发表在 arXiv 上
50%