模型

OmniGround

一种具备全模态时序定位能力的通用全模态大模型，通过注意力一致性训练（TACG）在视频、音频和文本统一时间轴上输出事件起止时间戳。

时间轴 (近 90 天)

10月20日

OmniGround 团队构建了一个 580K 样本的训练数据集，通过从稠密音频-视觉标注中重建时序问答并组织通用全模态指令数据得到。

待验证50%

10月20日

OmniGround 是一个基于 TACG 和 580K 数据集训练的通用全模态模型，具备更强的时序定位能力。

待验证50%

10月20日

OmniGround 在 LongVALE 基准上达到 37.5 mIoU，在 UnAV-100 基准上达到 35.7 mIoU，均达到全模态时序定位的 SOTA 水平。

待验证50%

10月20日

OmniGround 在通用音频-视觉理解和纯视觉定位任务上保持了竞争力，没有因为专攻时序定位而牺牲其他能力。

待验证50%

OmniGround 团队构建了一个 580K 样本的训练数据集，通过从稠密音频-视觉标注中重建时序问答并组织通用全模态指令数据得到。

OmniGround 是一个基于 TACG 和 580K 数据集训练的通用全模态模型，具备更强的时序定位能力。

OmniGround 在 LongVALE 基准上达到 37.5 mIoU，在 UnAV-100 基准上达到 35.7 mIoU，均达到全模态时序定位的 SOTA 水平。

OmniGround 在通用音频-视觉理解和纯视觉定位任务上保持了竞争力，没有因为专攻时序定位而牺牲其他能力。