协同学习
一种协作学习范式，通过任务响应重建使模型在保持独立部署的同时利用彼此互补性进行相互增强，不要求消除模型间差异。
时间轴 (近 90 天)
研究者提出了协同学习（Corroborative Learning, CL），通过任务响应重建实现模型间相互增强而无需消除分歧。
在CL中，每个模型生成任务响应，并利用协作者的表示重建响应增量，但重建过程排除源信息，将拟合和评估分离在不相交的组上。
当使用线性重建并固定协作者的表示时，CL的损失函数等价于一个半正定的方向正则化器，对可重建性较低的方向施加更强的约束。
CL在六个语言任务、24个模型和36对组合上进行了实验验证。
实验结果显示，CL在所有任务上都优于容量匹配的独立适应，并且在大多数有向模型组合中带来正向收益。
pairwise比较表明，CL在迁移学习和互学习方法上具有广泛优势，且不同协作规则从互补性中获得的增益不同。
低标签的语言和视觉任务结果支持了CL的跨领域适用性。
CL的核心设计不增加额外的推理依赖，也不需要直接的输出或特征匹配。
CL与迁移学习和互学习的关键区别在于：CL不要求模型间预测或特征的一致性，而是通过任务响应重建来利用互补性。
未来的CL可能应用于多模态学习和联邦学习等场景，其中模型间的互补性尤为宝贵。
全部知识事实 (10)
研究者提出了协同学习（Corroborative Learning, CL），通过任务响应重建实现模型间相互增强而无需消除分歧。
50%待验证在CL中，每个模型生成任务响应，并利用协作者的表示重建响应增量，但重建过程排除源信息，将拟合和评估分离在不相交的组上。
50%待验证当使用线性重建并固定协作者的表示时，CL的损失函数等价于一个半正定的方向正则化器，对可重建性较低的方向施加更强的约束。
50%待验证CL在六个语言任务、24个模型和36对组合上进行了实验验证。
50%待验证实验结果显示，CL在所有任务上都优于容量匹配的独立适应，并且在大多数有向模型组合中带来正向收益。
50%待验证pairwise比较表明，CL在迁移学习和互学习方法上具有广泛优势，且不同协作规则从互补性中获得的增益不同。
50%待验证低标签的语言和视觉任务结果支持了CL的跨领域适用性。
50%待验证CL的核心设计不增加额外的推理依赖，也不需要直接的输出或特征匹配。
50%待验证CL与迁移学习和互学习的关键区别在于：CL不要求模型间预测或特征的一致性，而是通过任务响应重建来利用互补性。
50%待验证未来的CL可能应用于多模态学习和联邦学习等场景，其中模型间的互补性尤为宝贵。
50%