协同学习新范式：任务响应重建实现模型互补增强

在模式分析领域，独立训练的模型往往因架构、数据和优化方式的差异而发展出互补的能力。如何利用这种互补性，同时保持模型的独立部署，是协作学习的核心挑战。传统方法通过减少模型间预测、关系或表示的差异来建立迁移，但这些差异也正是互补性的来源，从而形成了一个结构性的权衡：减少差异促进知识交换，保留差异维持互补性。为此，研究者提出了协同学习（Corroborative Learning, CL），通过任务响应重建来实现模型间的相互增强，而无需消除分歧。

协同学习的核心机制

CL 的核心思想是让每个模型形成任务驱动的响应，并从协作者那里获得跨组支持。具体而言，每个模型生成任务响应，然后利用协作者的表示来重建响应增量，但重建过程排除了源信息，从而将拟合和评估分离在不相交的组上。这种设计通过跨组可重建性来选择性地约束方向，而不需要直接的输出或特征匹配，也不增加额外的推理依赖。

在技术细节上，当使用线性重建并固定协作者的表示时，CL 的损失函数等价于一个半正定的方向正则化器，对可重建性较低的方向施加更强的约束。研究者通过信号和噪声条件刻画了方向收缩何时能降低响应估计误差。这种机制允许模型在保持独立性的同时，从互补性中获益。

半正定方向正则化器是优化理论中的一个概念，指在损失函数中加入一个半正定矩阵加权的惩罚项，用以对参数或表示的方向施加约束。在 CL 的线性重建设定下，该正则化器对响应增量的不同方向施加不同强度的惩罚，具体由协作者表示的可重建性决定。可重建性低的方向对应较大的惩罚，从而抑制模型在这些方向上的过拟合；可重建性高的方向则约束较弱，允许模型保留其独特的互补信息。这种方向选择性使得 CL 能够在促进知识交换的同时，避免强制模型间的一致性，从而维持互补性。

跨组可重建性是指利用一组不相交的数据或特征子集（组）来重建另一组上的任务响应增量。在 CL 中，每个模型用协作者的表示来重建自己的响应增量，但重建过程排除了源信息，即将拟合和评估分离在不相交的组上。这种设计避免了模型直接复制协作者的输出，而是迫使模型学习从协作者表示中提取对自身任务有用的增量信息。跨组可重建性作为选择性约束，仅对能够从协作者表示中可靠重建的方向进行约束，从而在保持模型独立性的同时实现相互增强。

实验验证与广泛优势

研究者在六个语言任务、24个模型和36对组合上进行了实验。结果显示，CL 在所有任务上都优于容量匹配的独立适应，并且在大多数有向模型组合中带来正向收益。 pairwise 比较表明，CL 在迁移学习和互学习方法上具有广泛优势，并且不同的协作规则从互补性中获得的增益不同。此外，低标签的语言和视觉任务结果支持了跨领域的适用性。

这些实验表明，任务相关的差异可以支持相互增强，而无需消除分歧。CL 提供了一种新的协作学习范式，通过任务响应重建来利用模型间的互补性，同时保持各自的独立部署能力。

迁移学习和互学习是协作学习中常见的两种范式。迁移学习通常将一个预训练模型的知识迁移到另一个模型，强调单向的知识传递；互学习则让多个模型在训练过程中相互模仿或交换信息，往往通过最小化预测差异来实现。CL 与二者的关键区别在于：CL 不要求模型间预测或特征的一致性，而是通过任务响应重建来利用互补性。实验中的 pairwise 比较表明，CL 在大多数有向模型组合中优于这些传统方法，因为它避免了消除差异带来的信息损失，同时保持了模型的独立部署能力。

对协作学习的启示

CL 的提出为协作学习领域带来了新的视角。传统的知识蒸馏和互学习往往强调模型间的一致性，而 CL 则表明，保留甚至利用模型间的差异可以带来更好的性能。这种方法不依赖于额外的推理依赖，也不需要进行直接的输出匹配，从而降低了协作的复杂性。

未来，CL 可能应用于更广泛的场景，例如多模态学习、联邦学习等，其中模型间的互补性尤为宝贵。研究者也指出，方向收缩的效果取决于信号和噪声条件，这为理论分析提供了新的方向。

总之，协同学习通过任务响应重建实现了模型间的相互增强，为协作学习开辟了新的可能性。