多模态情感识别
情感计算中的核心任务,综合文本、语音、视觉等多种模态信息判断说话者情绪状态,面临模态间冲突的挑战。
时间轴 (近 90 天)
EmoHarness 是一个外挂式框架,通过组织提示词、设置与验证代码来引导冻结的小模型利用多模态证据,不更新模型权重。
多模态情感理解中,当文字、语音和视觉线索冲突时,参数量有限的小模型容易受单一模态主导而误判。
在三种来源映射下,用无关音视频替换原始音视频(RandA/V)相对于完整输入在全部 18 组比较中都降低了准确率。
全部 18 组无关音视频替换导致的准确率下降在对话簇推断和 BH-FDR 校正下均保持统计显著。
在全部六组“模型-数据集”配对中,加入目标音频(文本+音频)都提升了情感识别准确率。
对部署方而言,不能假设所有模型对音频的利用程度一致,选型时值得逐项验证。
多模态能力的“有无”已不再是区分点,能否在误导性输入下保持稳定是下一阶段的评测重点。
无关音视频替换造成的性能下降(错配特异性伤害)不同于简单缺失模态,模型会将不匹配的音视频当作有效证据融合。
在六组“模型-数据集”配对中,只有四组在 FDR 校正后音频增益仍然显著。
全部知识事实 (9)
多模态情感理解中,当文字、语音和视觉线索冲突时,参数量有限的小模型容易受单一模态主导而误判。
50%待验证EmoHarness 是一个外挂式框架,通过组织提示词、设置与验证代码来引导冻结的小模型利用多模态证据,不更新模型权重。
50%待验证在三种来源映射下,用无关音视频替换原始音视频(RandA/V)相对于完整输入在全部 18 组比较中都降低了准确率。
50%待验证全部 18 组无关音视频替换导致的准确率下降在对话簇推断和 BH-FDR 校正下均保持统计显著。
50%待验证在全部六组“模型-数据集”配对中,加入目标音频(文本+音频)都提升了情感识别准确率。
50%待验证对部署方而言,不能假设所有模型对音频的利用程度一致,选型时值得逐项验证。
50%待验证无关音视频替换造成的性能下降(错配特异性伤害)不同于简单缺失模态,模型会将不匹配的音视频当作有效证据融合。
50%待验证在六组“模型-数据集”配对中,只有四组在 FDR 校正后音频增益仍然显著。
50%待验证多模态能力的“有无”已不再是区分点,能否在误导性输入下保持稳定是下一阶段的评测重点。
50%