华中师大CoReFuse-Med：先净化再融合，破解多模态医学分割失效难题

多模态融合常被默认为"信息越多越准"，但在医学影像里这个假设经常不成立。华中师范大学联合华中科技大学、广州中医药大学及北卡罗来纳大学教堂山分校提出 CoReFuse-Med，其论文《When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation》被 ACM MM 2026 接收。研究给出的核心判断很直接：当空间上已经对齐、但各模态采样质量差异巨大时，融合不但没有增益，反而会让高质量模态被低质量模态的重采样伪影"污染"。

一个反直觉的起点：融合后指标反而下降

论文在 IH EPVS 数据集上做了一个简单对照。高分辨率 T1 单模态的 DSC 为 0.703，而把 T1、T2、FLAIR 三个模态融合之后，DSC 反而降到约 0.695。

这组数字点明了一个容易被忽视的前提：空间对齐不等于信息质量一致。低分辨率序列经过重采样后尺寸与 T1 相同，像素一一对应，但每一个像素所承载的可靠性并不等价。网络看到的是"整齐"的输入，拿到的却是"掺杂"的信号。

作者把问题边界收得很窄——只讨论分辨率差异导致的质量下降，不涉及模态未对齐或模态完全缺失的情况。这种克制反而让分析更聚焦。

DSC 与 HD95：医学分割的两个核心指标

DSC（Dice Similarity Coefficient）衡量预测分割与真实标注的重叠程度，取值 0 到 1，越接近 1 表示重叠越好，是最常用的分割精度指标。HD95（95th Percentile Hausdorff Distance）则从边界距离角度衡量分割质量：它计算预测边界与真实边界之间距离的 95% 分位数，单位通常为毫米或体素，数值越小说明边界越贴合。两者互补——DSC 对内部填充敏感，HD95 对边界偏移敏感，因此论文同时报告这两个指标。DSC 从 0.703 降到 0.695 看似差距不大，但在医学影像分割中，这类量级的下降往往意味着病灶边缘或小结构的系统性偏差，具有临床意义。

三条证据链：污染从浅层开始，偏见在深层固化

研究没有停留在"指标掉了"的现象层面，而是从浅层特征、梯度与遮挡、跳跃连接三条路径去定位失效机制。

证据一：低分辨率重采样在浅层注入噪声

作者提出特征对比噪声比 F-CNR，用病灶区域与背景区域的特征均值之差除以背景标准差，衡量特征层面的可分性。第三层特征可视化显示，T1 的 F-CNR 为 1.0283，T2 为 0.4301，FLAIR 仅 0.2980——T1 约为 FLAIR 的 3.4 倍。几何上三者重合，浅层表征的可靠性却相差数倍。

证据二：梯度贡献与推理影响严重不对称

在 EPVS 的 3D U-Net 中，T1 占据了 77.4% 的梯度贡献，FLAIR 只有 13.1%。但遮挡 FLAIR 会使 DSC 下降 70.2%，影响与遮挡 T1 相当。梯度更新少，不代表推理阶段没有话语权。作者把这种反差视为优化—推理不一致性的核心证据。

梯度贡献与遮挡实验为何能揭示模态重要性

梯度贡献通常通过统计各模态输入分支在反向传播中产生的梯度幅值占比来衡量，反映训练时网络对各模态的依赖程度；遮挡实验（occlusion）则是在推理阶段将某一模态输入置零或替换为噪声，观察输出性能下降幅度，反映该模态在推理时的话语权。两者从不同侧面刻画模态重要性：前者是优化过程的副产品，后者是前向推理的直接因果干预。论文发现 FLAIR 梯度贡献仅 13.1%，但遮挡后 DSC 下降 70.2%，说明网络在训练中很少更新 FLAIR 分支，却在推理时高度依赖其提供的互补信息。这种不对称意味着不能用梯度统计量作为模态重要性的代理，否则会低估低梯度模态的实际贡献。

证据三：跳跃连接会把污染"传染"下去

U 型网络中的 skip connections 本意是把空间细节送入解码器，但在各向异性 MRI 中，它同样会把重采样的结构伪影一路带下去。网络又倾向于依赖更"干净"、更易优化的高质量模态，于是特征污染与贪婪模态选择同时出现。

方法设计：浅层去污染，深层纠偏见

CoReFuse-Med 并未简单叠加更强的 cross-attention，而是把融合拆成两个阶段处理，整体仍保持三流、对称 U 型分割网络结构。

LACE + IMSH：在浅层先把污染挡在门外

LACE 用局部 DoubleConv 加沿 D、H、W 三个方向的条带卷积分支，分别保留细节与捕获轴向上下文，再通过 Softmax 生成的自适应权重做选择性融合。

IMSH 则用无参数的 3×3×3 平均池化把特征分解为结构基底与残差：基底部分用竞争性 Softmax 权重挑选可靠解剖结构，残差部分由共享 Sigmoid 门控过滤重采样伪影，最后用轻量级 DSConv3D 整合回写。平滑分量承载共享解剖布局，残差里既有有效细节也有噪声，这条分解思路是"净化"的关键。

条带卷积与结构-残差分解的动机

条带卷积（strip convolution）沿单一轴向（D、H、W）展开长条形卷积核，能以较低参数量捕获该方向上的长程上下文，三个方向并行则近似覆盖各向异性体数据的全局结构，同时保留局部细节。IMSH 的平均池化分解则基于一个经典假设：低频平滑分量对应共享的解剖布局，高频残差分量包含细节与噪声。由于重采样伪影主要表现为高频结构失真，将特征分解后对基底做竞争性选择、对残差做门控过滤，可以在不引入额外参数的前提下抑制伪影。DSConv3D（深度可分离卷积）用于整合回写，进一步控制计算量，这与 WMH 上仅 2.665M 参数量的轻量设计一致。

MBCF：在深层重新校准模态贡献

MBCF 作用于 L3–L4 的深层跳连特征。它先把三个模态的全局描述拼接，经共享 MLP 与 Sigmoid 产生条件化通道权重——注意这里不用 Softmax 强行让三模态权重相加为 1，避免"此消彼长"的零和竞争。随后用空间门控排除位置不稳的不可靠响应，得到一个不属于任何单一模态的公共查询 Q，对三模态拼接并下采样得到的 K、V 执行对称交叉注意力。

目标不是让所有模态等权发言，而是在融合时给可信信息合理的贡献。

为何用 Sigmoid 而非 Softmax 生成模态权重

Softmax 强制所有模态权重之和为 1，当一个模态权重上升时其他模态必然下降，形成零和竞争——这在模态质量差异大时不合理，因为高质量模态不应因低质量模态的存在而被压缩权重。Sigmoid 对每个模态独立激活，允许所有模态同时获得较高或较低的权重，从而避免此消彼长。此外，MBCF 构造的公共查询 Q 不属于任何单一模态，而是三模态全局描述的条件化产物，使交叉注意力在融合时以“融合后的整体需求”去检索各模态的 K、V，而非让某一模态主导查询，这有助于在深层纠正网络对高质量模态的贪婪依赖。

实验结果与需要留意的边界

在 EPVS 上，Ours(Med) 的 DSC 为 0.7326、HD95 为 7.35，优于 MedNeXt 的 0.7085 与 8.17；在 BraTS 上 DSC 为 0.8528、HD95 为 4.43，同样好于 MedNeXt 的 0.8314 与 7.59；在 WMH 上 DSC 为 0.80、HD95 为 6.22、IAVD 为 0.171，参数量仅 2.665M。

消融实验显示，EPVS 上 Baseline 的 DSC 为 0.7146，组合 LACE+IMSH+MBCF 后 Ours(Base) 达到 0.7322，说明三个模块互相补充。

有两点边界值得读者注意。其一，BraTS 上 20% 与 30% 轴向切片保留的两组实验，是分别重新训练每个模型后取得的最优 DSC/HD95，并非同一权重跨退化等级直接测试，额外的高斯噪声实验也只作为补充验证。其二，在 EPVS 严重退化区域，模型的作用主要是防止污染破坏 T1，而不是"凭空恢复"T2/FLAIR 已经丢失的信息。

研究边界也很清晰：聚焦空间对齐后的分辨率下降，不覆盖模态全缺失或所有强噪声场景，未来方向是动态模态缺失与更多采集伪影。

对多模态融合实践的一点启示

这篇工作最有价值的地方，不在于又刷新了几个分割指标，而在于把"融合为何失效"拆成了可观测、可干预的环节。对于做医学影像工程的人来说，至少在两点上有直接参考意义：一是模态质量评估应当进入融合流程的前置环节，而不是默认对齐即可用；二是梯度贡献这类训练期统计量，不能作为推理期重要性的代理指标。

论文与代码均已公开，可作为多模态医学分割中处理模态质量不均衡问题的一个可复现基线。