Robust Async-Fed-Q
一种对抗鲁棒的异步联邦Q学习算法,结合方差缩减贝尔曼估计与鲁棒聚合机制,在存在恶意智能体的多智能体联邦强化学习场景中保留诚实智能体的协作统计增益
时间轴 (近 90 天)
一篇发表于arXiv的研究(arXiv:2610.06918v1)提出了名为Robust Async-Fed-Q的算法,为对抗鲁棒的联邦Q学习建立理论基础
Robust Async-Fed-Q采用基于轮次(epoch-based)的联邦学习框架
该算法在智能体本地对贝尔曼最优算子采用方差缩减估计
该算法在中心服务器用鲁棒聚合替代朴素平均,以识别并抑制偏离正常分布的异常上传
论文证明了对抗智能体的负面影响随诚实智能体收集的数据量增长而递减,在无限样本极限下对抗影响完全消失
论文给出信息论下界,并实现上界与下界的近似匹配,是对抗鲁棒联邦强化学习领域首个几乎匹配的上下界结果
算法框架扩展到单轨迹马尔可夫采样和异构部分覆盖两种更现实的采样场景
基于轮次的设计显著改进了异步采样下联邦Q学习已知的最优通信复杂度
全部知识事实 (8)
基于轮次的设计显著改进了异步采样下联邦Q学习已知的最优通信复杂度
50%待验证Robust Async-Fed-Q采用基于轮次(epoch-based)的联邦学习框架
50%待验证该算法在智能体本地对贝尔曼最优算子采用方差缩减估计
50%待验证该算法在中心服务器用鲁棒聚合替代朴素平均,以识别并抑制偏离正常分布的异常上传
50%待验证论文证明了对抗智能体的负面影响随诚实智能体收集的数据量增长而递减,在无限样本极限下对抗影响完全消失
50%待验证论文给出信息论下界,并实现上界与下界的近似匹配,是对抗鲁棒联邦强化学习领域首个几乎匹配的上下界结果
50%待验证算法框架扩展到单轨迹马尔可夫采样和异构部分覆盖两种更现实的采样场景
50%待验证一篇发表于arXiv的研究(arXiv:2610.06918v1)提出了名为Robust Async-Fed-Q的算法,为对抗鲁棒的联邦Q学习建立理论基础
50%