概念Audio-Visual Captioning
音频-视觉字幕生成
要求模型观看视频并同时听音频后生成描述视频内容的自然语言字幕的任务,涉及视觉对象识别、音频事件检测、时序定位与跨模态关联等子能力,是诊断多模态模型综合感知能力的探针任务。
时间轴 (近 90 天)
10月12日
OmniCapBench(Omni-Video Caption Benchmark)是一个面向音频-视觉字幕评估的深度结构化诊断框架,其预测目标为三组原子化、可验证的评估单元:实体引用、视觉镜头和音频事件。
待验证50%