[控场AI]
模型

SyncNet

基于双流卷积网络的音视频同步检测模型,用于判断视频中面部运动与语音是否同步,从而定位活跃说话人。

时间轴 (近 90 天)

11月11日

VoxCeleb 1数据集通过VGG Face数据集的自动化管线构建,使用基于HOG的人脸检测器、SyncNet和VGG Face CNN,人脸识别领域的偏见会直接传导至说话人验证数据集。

待验证50%
11月10日

评估口型同步质量的常用指标包括LSE(Lip Sync Error)和基于SyncNet的置信度分数。

待验证50%
9月16日

作者认为口型评分只是粗筛过滤器,12帧样本太小、LLM评分有噪声,更可靠做法应用MediaPipe关键点测量或SyncNet评分

待验证50%
9月16日

SyncNet通过比对视频帧嘴部视觉特征与音频MFCC特征输出唇语同步得分,被广泛用于学术界口型同步基准测试;MediaPipe的FaceMesh模块可每帧追踪468个面部关键点

待验证50%

全部知识事实 (4)

来源文章