EgoOmniWorld
一种统一第一人称(egocentric)视频理解的方法论框架,以 Ego-Action-World 交互循环为核心原则,将交互拆解为 Node、Edge、Chain、Loop 四种互补结构层次,采用交互优先的数据构建方式生成多模态问答对。
时间轴 (近 90 天)
论文提出了 EgoOmniWorld,一个以 Ego-Action-World 交互循环为统一原则的第一人称视频理解框架。
EgoOmniWorld 将交互拆解为 Node、Edge、Chain、Loop 四种互补的结构层次,复杂度递进。
EgoOmniWorld 采用交互优先(interaction-first)的数据构建方式:从视频中提取结构化交互信息,锚定在视听证据上,再自动生成问答对。
EgoOmniWorld 包含 24,166 个 QA 组,其中训练集 20,284 个样本,测试集 3,882 个样本。
论文在多个开源和闭源多模态大语言模型上评测发现,模型在不同交互结构上的表现差异显著且不均衡。
在 EgoOmniWorld 上训练的模型不仅在域内交互理解上有所提升,还能泛化到现有的第一人称基准上。
EgoOmniWorld 的数据、代码和模型将开源发布。
EgoOmniWorld 的评测对象是能够同时处理视频、音频、文本的多模态大语言模型。
交互结构的训练信号具有通用价值,不是只对特定评测集有效。
全部知识事实 (9)
论文提出了 EgoOmniWorld,一个以 Ego-Action-World 交互循环为统一原则的第一人称视频理解框架。
50%待验证EgoOmniWorld 将交互拆解为 Node、Edge、Chain、Loop 四种互补的结构层次,复杂度递进。
50%待验证EgoOmniWorld 采用交互优先(interaction-first)的数据构建方式:从视频中提取结构化交互信息,锚定在视听证据上,再自动生成问答对。
50%待验证EgoOmniWorld 包含 24,166 个 QA 组,其中训练集 20,284 个样本,测试集 3,882 个样本。
50%待验证论文在多个开源和闭源多模态大语言模型上评测发现,模型在不同交互结构上的表现差异显著且不均衡。
50%待验证在 EgoOmniWorld 上训练的模型不仅在域内交互理解上有所提升,还能泛化到现有的第一人称基准上。
50%待验证EgoOmniWorld 的评测对象是能够同时处理视频、音频、文本的多模态大语言模型。
50%待验证交互结构的训练信号具有通用价值,不是只对特定评测集有效。
50%待验证EgoOmniWorld 的数据、代码和模型将开源发布。
50%