RASO：缺失模态下多模态联邦学习的角色感知服务器优化

多模态联邦学习（MFL）在保护数据隐私的同时，面临客户端模态缺失的普遍挑战。当部分客户端缺少某些模态数据时，它们只能激活可用的模态编码器并共享预测块（融合与分类器）。这给服务器端带来了两个关键问题：哪些客户端应该为每个组件贡献更新？这些更新又该如何跨轮次聚合？ 一篇最新论文提出的角色感知服务器优化（RASO）方法，通过协调贡献者选择与角色特定的服务器更新，显著提升了缺失模态场景下的模型性能。

缺失模态下的服务器端挑战

在多模态联邦学习中，客户端通常拥有图像、文本、音频等多种模态数据。然而，现实场景中客户端可能仅包含部分模态。传统做法是让客户端分别适配活跃的模态编码器和共享的预测块，但不同客户端可用的模态子集不同，导致编码器更新各异。

服务器在聚合时面临两难：基于可用性的聚合可能会忽略缺失模态编码器的更新，因为该编码器在当前轮次没有接收到对应输入。但论文观察到，即使某个模态缺失，编码器仍可通过缺失输入处理机制进行适应——这意味着它的更新不应被简单丢弃。话说回来，预测块的更新来自所有客户端，应当被保留并联合学习。

另一个容易被忽视的因素是服务器动量，即聚合更新的加权历史。动量有助于稳定训练，但其效果依赖于编码器的更新策略。论文发现，预测块动量可能提升或降低性能，具体取决于编码器更新策略的选择。

联邦学习中的服务器动量是聚合更新的一种加权历史机制，通常以指数移动平均（EMA）的形式实现：服务器在每轮聚合后不直接采用当前轮的平均梯度，而是将其与上一轮的模型参数按一定权重混合。动量能平滑训练轨迹、减少客户端数据异构带来的震荡，在FedAvg等经典算法中已被证明有助于收敛。然而，动量的有效性高度依赖于参数更新的统计特性：对于每轮都接收稳定梯度信号的参数，动量是降噪器；对于更新稀疏或间歇的参数，历史动量可能滞后于当前分布，反而拖累性能。在多模态联邦学习中，编码器与预测块的更新频率和来源不同，因此需要分别评估动量的适用性，而不能全局统一开启或关闭。

RASO的核心设计：角色感知的协调机制

针对上述问题，RASO提出了一套角色感知的服务器优化框架，其核心思想是将服务器端的聚合操作细化为两个角色：编码器角色和预测块角色，并分别制定更新策略。

具体而言，RASO通过以下机制实现协调：

• 贡献者选择：基于预测依赖性和本地优化中的参与度来选择贡献者。预测依赖性衡量客户端对共享预测块的影响程度，参与度则反映客户端在本地训练中是否真正优化了该组件。这种选择方式确保为每个组件挑选最相关的客户端更新。
• 编码器动量保留：对于编码器角色，RASO保留服务器动量，以稳定编码器的适应过程，即使某些模态在部分客户端中缺失。
• 预测块同步：对于共享预测块，RASO将其同步到当前聚合结果，而不使用动量，从而避免动量可能带来的负面效应。

这种角色分离的设计，使得服务器能够更精细地控制不同组件的更新节奏，而非采用一刀切的聚合策略。

预测依赖性是RASO贡献者选择的一个核心度量，用于刻画某个客户端对共享预测块的影响力。直观上，若客户端的本地更新使预测块参数朝某一方向显著移动，或其对预测损失的梯度贡献较大，则说明该客户端与预测任务高度相关。常见实现方式是计算客户端上传的预测块梯度与服务器聚合梯度之间的余弦相似度或范数比例，也可以利用验证集上的预测一致性来估计。与仅按数据量加权的传统聚合相比，预测依赖性能够识别出那些数据量虽小但对分类边界贡献关键的客户端，从而在缺失模态导致客户端能力不均时，避免让弱相关客户端稀释预测块的学习信号。

缺失输入处理机制指多模态模型在某一模态输入不可用时，仍能前向传播并产生梯度的设计。常见做法包括：用可学习的缺失标记（missing token）替代该模态的嵌入，用零填充后经掩码注意力屏蔽无效位置，或引入模态存在性嵌入让模型感知哪些模态可用。正是这一机制使得编码器在客户端缺少对应模态时依然参与计算，其参数会收到来自缺失标记路径的梯度。因此，服务器若按“本轮无该模态输入”为由丢弃编码器更新，就会浪费这部分适应信号，甚至造成编码器在不同轮次间更新不连续。RASO强调保留编码器更新并配合动量，正是建立在缺失输入处理使编码器始终可训练这一前提之上。

实验验证与效果

论文在不同数据集和融合架构上进行了实验，验证了RASO在缺失模态场景下的有效性。实验结果表明，通过协调贡献者选择与角色特定的服务器更新，RASO能够显著提升模型在缺失模态条件下的性能。

说个细节，RASO并非简单地丢弃或保留动量，而是根据组件角色动态调整。这种灵活性使其能够适应不同的融合架构和数据分布，为多模态联邦学习的实际部署提供了新思路。

对多模态联邦学习的启示

RASO的提出揭示了缺失模态场景下服务器端优化的两个重要原则：角色分离与动态协调。传统的联邦学习聚合往往将所有参数一视同仁，但多模态场景下，不同组件（编码器 vs. 预测块）对动量和贡献者的需求截然不同。

未来，这种角色感知的思路可能扩展到更复杂的联邦学习架构中，例如个性化联邦学习或跨模态检索任务。对于致力于在隐私保护前提下利用多模态数据的开发者而言，RASO提供了一种可借鉴的服务器端优化范式。

随着多模态应用的普及，缺失模态问题将愈发突出。RASO通过细致的服务器端设计，为这一挑战提供了切实可行的解决方案，也推动了联邦学习向更贴近现实场景的方向演进。