[控场AI]
概念Ego-Action-World 交互循环框架

EgoOmniWorld

一种统一第一人称(egocentric)视频理解的方法论框架,以 Ego-Action-World 交互循环为核心原则,将交互拆解为 Node、Edge、Chain、Loop 四种互补结构层次,采用交互优先的数据构建方式生成多模态问答对。

时间轴 (近 90 天)

10月14日

论文提出了 EgoOmniWorld,一个以 Ego-Action-World 交互循环为统一原则的第一人称视频理解框架。

待验证50%
10月14日

EgoOmniWorld 将交互拆解为 Node、Edge、Chain、Loop 四种互补的结构层次,复杂度递进。

待验证50%
10月14日

EgoOmniWorld 采用交互优先(interaction-first)的数据构建方式:从视频中提取结构化交互信息,锚定在视听证据上,再自动生成问答对。

待验证50%
10月14日

EgoOmniWorld 包含 24,166 个 QA 组,其中训练集 20,284 个样本,测试集 3,882 个样本。

待验证50%
10月14日

论文在多个开源和闭源多模态大语言模型上评测发现,模型在不同交互结构上的表现差异显著且不均衡。

待验证50%
10月14日

在 EgoOmniWorld 上训练的模型不仅在域内交互理解上有所提升,还能泛化到现有的第一人称基准上。

待验证50%
10月14日

EgoOmniWorld 的数据、代码和模型将开源发布。

待验证50%
10月14日

EgoOmniWorld 的评测对象是能够同时处理视频、音频、文本的多模态大语言模型。

待验证50%
10月14日

交互结构的训练信号具有通用价值,不是只对特定评测集有效。

待验证50%

全部知识事实 (9)

来源文章