[控场AI]
概念视频大语言模型 / Video Large Language Model

Vid-LLM

视频大语言模型，能够同时理解视频内容与自然语言查询，支持视频问答、视频描述生成等多种视频-语言任务的多模态大语言模型

时间轴 (近 90 天)

10月8日

让 Vid-LLM 直接判断帧相关性的判断式方法存在解读-选择鸿沟（Interpretation–Selection Gap），模型理解了查询却未必能准确执行选择动作

待验证50%
10月8日

RACER 将帧选择任务拆解为两个环节：由轻量级 Vid-LLM 负责把复杂查询改写成一系列子查询，由嵌入模型作为检索工具去定位相关证据帧

待验证50%
10月8日

即便使用能力有限的组件，RACER 依然能实现有效的帧选择，弱小组件能协同增强更强大的 Vid-LLM

待验证50%

全部知识事实 (3)

待验证

让 Vid-LLM 直接判断帧相关性的判断式方法存在解读-选择鸿沟（Interpretation–Selection Gap），模型理解了查询却未必能准确执行选择动作

50%待验证

RACER 将帧选择任务拆解为两个环节：由轻量级 Vid-LLM 负责把复杂查询改写成一系列子查询，由嵌入模型作为检索工具去定位相关证据帧

50%待验证

即便使用能力有限的组件，RACER 依然能实现有效的帧选择，弱小组件能协同增强更强大的 Vid-LLM

50%

来源文章

RACER：免训练反思式智能体，攻克长视频关键帧选择难题10月8日