联邦学习
谷歌于2017年提出的分布式机器学习范式,允许模型在用户本地设备上训练而无需将原始数据上传至中央服务器,是一种隐私保护型AI训练方式
核心事实
时间轴 (近 90 天)
隐私增强技术(PETs)包括同态加密、联邦学习、差分隐私和安全多方计算等,目标是在数据使用环节也保持隐私保护,但目前仍面临性能开销大、工程复杂度高的落地挑战。
联邦学习和差分隐私在真实临床场景中面临各机构数据分布差异(非独立同分布)、通信开销和合规审计复杂度等落地障碍,距离大规模临床部署仍有距离。
研究给出四组隐私与性能的典型取舍:延迟 vs 隐私、模型精度 vs 差分隐私、可扩展性 vs 联邦学习、透明度 vs 专有SDK。
DP-SGD是在随机梯度下降中实现差分隐私的机制,通过对逐样本梯度裁剪后再加高斯噪声实现。
联邦学习让多台设备协同训练而无需集中数据;BOINC、Folding@home等志愿计算项目长期聚合闲置CPU/GPU做科学计算。
当各客户端数据分布存在统计异质性时,全局模型倾向于迎合数据量大、分布主流的客户端,使偏离主流的客户端表现出明显更差的本地精度
通信轮次是评估联邦学习系统实用性的关键指标,达到目标精度所需通信轮次越少系统可用性和经济性越高,尤其在边缘设备和移动端等资源受限场景
现有面向公平性的多目标联邦优化方法主要通过客户端重加权、梯度修正和共同下降三条路径解决问题
联邦学习无需集中原始数据,就能从分散在各客户端的数据中训练出一个共享的全局模型
该框架使用联邦学习机制,多辆车或多个ECU可以协同训练一个共享模型,而无需交换原始CAN数据
还有 13 条时间轴事件
全部知识事实 (20)
联邦学习让模型在数据本地完成训练更新,只上传梯度而非原始数据
85%已验证联邦学习(Federated Learning)允许多个部门在不共享原始数据的条件下联合训练模型,各部门数据留存本地仅交换模型梯度
85%已验证联邦学习由Google于2016年提出,让数据留在本地、仅上传模型梯度
80%已验证联邦学习与本地推理等隐私保护技术允许模型在用户设备侧完成数据处理,避免原始个人数据上传至云端
75%已验证联邦学习由Google于2016年提出,最初用于解决移动设备上的模型训练隐私问题
75%待验证联邦学习面临通信效率低、数据异构性导致收敛困难、以及梯度泄露攻击等挑战
70%待验证差分隐私通过向训练数据或模型输出添加数学校准的随机噪声,使攻击者无法从输出反推出任何单个用户的数据
60%待验证Google已将联邦学习(Federated Learning)技术用于Gboard键盘预测
60%待验证隐私增强技术(PETs)包括同态加密、联邦学习、差分隐私和安全多方计算等,目标是在数据使用环节也保持隐私保护,但目前仍面临性能开销大、工程复杂度高的落地挑战。
50%待验证联邦学习和差分隐私在真实临床场景中面临各机构数据分布差异(非独立同分布)、通信开销和合规审计复杂度等落地障碍,距离大规模临床部署仍有距离。
50%待验证研究给出四组隐私与性能的典型取舍:延迟 vs 隐私、模型精度 vs 差分隐私、可扩展性 vs 联邦学习、透明度 vs 专有SDK。
50%待验证DP-SGD是在随机梯度下降中实现差分隐私的机制,通过对逐样本梯度裁剪后再加高斯噪声实现。
50%待验证联邦学习让多台设备协同训练而无需集中数据;BOINC、Folding@home等志愿计算项目长期聚合闲置CPU/GPU做科学计算。
50%待验证通信轮次是评估联邦学习系统实用性的关键指标,达到目标精度所需通信轮次越少系统可用性和经济性越高,尤其在边缘设备和移动端等资源受限场景
50%待验证联邦学习无需集中原始数据,就能从分散在各客户端的数据中训练出一个共享的全局模型
50%待验证当各客户端数据分布存在统计异质性时,全局模型倾向于迎合数据量大、分布主流的客户端,使偏离主流的客户端表现出明显更差的本地精度
50%待验证现有面向公平性的多目标联邦优化方法主要通过客户端重加权、梯度修正和共同下降三条路径解决问题
50%待验证该框架使用联邦学习机制,多辆车或多个ECU可以协同训练一个共享模型,而无需交换原始CAN数据
50%待验证联邦学习的基本流程是中央服务器下发全局模型,各本地节点用本地数据训练后仅上传梯度或模型权重差值,服务器通过FedAvg等算法聚合更新后再下发新全局模型
50%待验证联邦学习存在挑战:模型更新可能通过梯度反演攻击泄露训练数据统计特征,且各车辆数据分布差异大时容易引发non-IID问题导致收敛困难或性能下降
50%