[控场AI]
· 4 分钟阅读· 2,214 字

情感惯性驱动:多模态抑郁症检测新框架InertiaMPDD

情感惯性驱动:多模态抑郁症检测新框架InertiaMPDD

InertiaMPDD 用世界模型式潜在预测器学习健康情感动态,以偏离证据替代直接标签预测。

InertiaMPDD 针对多模态抑郁筛查中“只预测标签、缺乏偏离证据”的问题,提出以情感惯性为动机的世界模型式潜在预测器:模型不直接拟合抑郁标签,而是先学习健康状态下情感如何延续,再据此判断个体动态是否偏离。论文由此构造参考偏离度、残差衰减率和雅可比谱三类描述子作为候选代理生物标志物,用于独立筛查与个性化决策修正。在四个数据集的五个队列上,多模态融合在 D-Vlog 达 98.41% F1、LMVD 达 84.98%,但描述子效用依赖场景:MPDD 上独立描述子优于固定加性融合,AVEC2014 上判别较弱。研究据此区分参考信息量与融合收益,提示不能默认融合或动态描述子普遍更优。

多模态抑郁筛查通常从语音、视觉行为和语言中估计风险,但现有方法大多只做标签预测,缺少对“偏离健康状态”的证据刻画;同时,录制级别的监督信号让细粒度情感动态处于无标注状态。InertiaMPDD 以情感惯性(情绪的持续性)为动机,用一个受世界模型启发的潜在预测器学习健康状态的下一个状态模式,为个性化抑郁检测提供新思路。

InertiaMPDD 多模态抑郁检测框架示意

从“预测标签”到“刻画偏离”:问题视角的转变

当前多模态抑郁筛查的主流做法,是把语音、面部视觉行为和语言文本拼接成特征后预测一个标签。这种做法能给出风险判断,却很难回答另一个问题:这个人的情感动态,离“非抑郁参考状态”到底有多远。论文指出,录制级监督只提供一个整体标签,细粒度情感变化没有标注,模型因此难以学到可解释的动态偏离证据。InertiaMPDD 的出发点正是把“偏离健康参考”从隐含假设变成可建模、可度量的对象。

世界模型式潜在预测器:学习“健康的下一个状态”

InertiaMPDD 的核心是一个受世界模型启发的潜在预测器。它不直接拟合抑郁标签,而是利用预训练的多模态表征,从已观察的历史与上下文中预测下一个状态,并以健康状态模式作为学习目标。这一设计把情感惯性——情绪随时间保持的持续性——转化为可学习的动态规律:模型先学会“正常情绪如何延续”,再据此判断个体动态是否出现异常。这种先建参考、再看偏离的路径,与直接做分类的范式形成明显区别。

论文由此构造了三类参考衍生的情感动态描述子:参考偏离度、残差衰减率,以及一个基于雅可比谱的描述子。它们被作为候选代理生物标志物进行评估,既可用于独立筛查,也可用于个性化决策修正。换言之,这些描述子不只是特征,而是试图承载“偏离健康参考的程度与方式”这一层语义。

世界模型(World Model)是一类在强化学习与序列决策中被广泛研究的建模范式,其核心思想是让智能体在潜在空间中学习环境的动态演化规律——给定当前状态与动作,预测下一时刻的状态——从而在不依赖真实交互的情况下进行规划或异常检测。将这一思路迁移到抑郁筛查中,意味着模型不再直接拟合标签,而是先学习“健康情感状态如何随时间演进”的动态规律;当个体的实际情感轨迹与该预测出现系统性偏差时,偏差本身就成为抑郁风险的证据。这种“先建参考、再看偏离”的范式,与端到端分类器将全部判别压力交给标签监督的做法形成鲜明对比,也使模型的中间量具备了可解释的临床含义。

雅可比谱(Jacobian spectrum)描述子源于对潜在动态系统局部稳定性的分析。具体而言,模型对状态转移函数求雅可比矩阵,其特征值(谱)刻画了系统在参考点附近的收缩或发散趋势:特征值模长小于 1 意味着扰动会随时间衰减、情绪回归基线,大于 1 则意味着偏离被放大、情绪动态可能失稳。在 InertiaMPDD 中,雅可比谱描述子正是用来量化这种“情感惯性是否异常”的稳定性指标,与参考偏离度(偏离幅度)和残差衰减率(回归速度)互补,共同构成对情感动态偏离的多维刻画。这也解释了为何三类描述子需要联合评估——它们分别对应偏离的大小、恢复的快慢与系统的稳定性。

多队列实验结果:融合有效,但描述子效用依赖场景

论文在来自四个数据集的五个队列上进行了评估。多模态融合在 D-Vlog 上达到 98.41% F1,在 LMVD 上达到 84.98%。这两个数字说明融合路径在特定数据分布下具有很强的判别能力。

但描述子的表现并不一致。在 MPDD 上,独立描述子优于固定的加性融合;而在 AVEC2014 上,描述子的判别能力较弱。论文由此提出一个关键区分:参考信息量(reference informativeness)与融合收益(fusion benefit)并不是一回事,描述子的效用是上下文相关的。这一发现对实际部署很重要——不能默认“融合一定更好”,也不能默认动态描述子在所有队列上都可靠。

文中的五个队列来自 D-Vlog、LMVD、MPDD 与 AVEC2014 四个数据集,这些数据集在模态构成、录制条件与标签定义上差异显著。AVEC2014 是较早的音频-视觉抑郁挑战数据集,样本量较小、录制条件相对受限;D-Vlog 与 LMVD 则来自视频博客场景,数据分布与前者不同。因此,描述子在 AVEC2014 上判别较弱,可能既反映参考信息量的不足,也反映跨队列分布偏移的影响。这提示评估动态描述子时,必须把数据集本身的参考质量与场景特性纳入考量,而不能仅以单一队列的 F1 高低判断方法优劣。

个性化检测的启示与局限

InertiaMPDD 的价值在于把抑郁检测从单点标签预测,推进到对情感动态偏离的建模与度量。参考偏离度、残差衰减率和雅可比谱描述子提供了可解释的中间量,个性化决策修正则让这些量能参与最终判断。同时,论文也如实呈现了局限:描述子在 AVEC2014 上判别较弱,说明其泛化依赖数据与场景;录制级监督下细粒度动态仍缺乏标注,模型学到的动态模式与临床意义上的情绪过程之间还需要更多验证。

对多模态心理健康计算而言,这项工作提示了一条值得跟进的路线:先建立健康参考,再用动态偏离作为证据,而不是把全部压力交给端到端分类器。

#InertiaMPDD#多模态抑郁症检测#情感惯性#世界模型#情感动态建模#个性化筛查#代理生物标志物
分享:

相关推荐