多智能体强化学习
一种机器学习范式，在训练环境中同时部署多个智能体，通过协作、竞争或分工完成任务，并以任务成败作为奖励信号优化模型策略。
核心事实
时间轴 (近 90 天)
目前两个智能体的协作仍依赖分阶段训练，而非端到端联合优化。
两个智能体无法同时从零训练，因为塔臂在助推器从未出现时没有可学习信号，助推器在塔臂从不闭合时也得不到捕获奖励。
集中式评论家是多智能体强化学习中的一种训练架构，在训练阶段可以访问全局状态，缓解非平稳性和信用分配问题。
在MARL中，通常将每个智能体视为节点，将可观测的交互关系视为边，用GNN在每一时间步聚合邻居信息以生成各智能体的策略输入。
马尔可夫博弈（Markov Game）是MARL的标准形式化框架，通常用元组 (N, S, {A_i}, P, {R_i}, γ) 描述。
作者刻意在生产路径中回避完整的多智能体强化学习，因为涌现式协调策略极难审计。
DeepSeek官方披露，V4.1 Flash 1017约35%的性能提升并无算法层面的创新，纯粹依靠多智能体环境强化学习实现，优化重心放在训练环境与智能体协作而非模型结构本身。
涌现通信是多智能体强化学习中的一个研究分支，指智能体在通信通道受限时自发演化出内部一致的符号系统。
信息隔离设计（让actor只看到真实客户端能看到的东西）是让研究成果具备实际部署可能的必要条件；很多多智能体研究止步于仿真，正是因为agent依赖了现实里拿不到的信息。
当RL环境扩展为包含其他AI代理的多智能体场景时，最优策略往往涉及欺骗、联盟、威慑与背叛，代理可能习得将其他智能体工具化的策略。
还有 8 条时间轴事件
全部知识事实 (19)
多智能体强化学习（MARL）存在非平稳性问题：每个智能体的最优策略依赖其他智能体持续更新的策略，导致环境转移分布始终变化
65%待验证目前两个智能体的协作仍依赖分阶段训练，而非端到端联合优化。
50%待验证两个智能体无法同时从零训练，因为塔臂在助推器从未出现时没有可学习信号，助推器在塔臂从不闭合时也得不到捕获奖励。
50%待验证集中式评论家是多智能体强化学习中的一种训练架构，在训练阶段可以访问全局状态，缓解非平稳性和信用分配问题。
50%待验证在MARL中，通常将每个智能体视为节点，将可观测的交互关系视为边，用GNN在每一时间步聚合邻居信息以生成各智能体的策略输入。
50%待验证马尔可夫博弈（Markov Game）是MARL的标准形式化框架，通常用元组 (N, S, {A_i}, P, {R_i}, γ) 描述。
50%待验证作者刻意在生产路径中回避完整的多智能体强化学习，因为涌现式协调策略极难审计。
50%待验证DeepSeek官方披露，V4.1 Flash 1017约35%的性能提升并无算法层面的创新，纯粹依靠多智能体环境强化学习实现，优化重心放在训练环境与智能体协作而非模型结构本身。
50%待验证涌现通信是多智能体强化学习中的一个研究分支，指智能体在通信通道受限时自发演化出内部一致的符号系统。
50%待验证信息隔离设计（让actor只看到真实客户端能看到的东西）是让研究成果具备实际部署可能的必要条件；很多多智能体研究止步于仿真，正是因为agent依赖了现实里拿不到的信息。
50%待验证许多在单智能体任务上表现优异的算法放到多智能体协作或竞争场景中会出现训练不稳定、策略震荡甚至无法收敛
50%待验证多智能体强化学习与单智能体强化学习的核心区别在于环境中存在多个同时学习的智能体，使系统成为非平稳问题
50%待验证该研究采用多智能体强化学习（MARL）作为训练框架
50%待验证在多智能体强化学习中，当对手持续改进时训练信号会自动保持在恰好有挑战性的难度区间，避免固定数据集的刷题现象
50%待验证有观察者在数周前提出，多智能体强化学习是'我们做过的最可怕的事情'
50%待验证在多智能体环境中，当集体的成功成为奖励信号时，个体的'失败'反而可能是最优解
50%待验证DeepMind在仿真环境中进行的机器人摔跤研究证明,通过自我对弈训练的智能体能够自发涌现出类似人类格斗中的假动作、反击和位置控制等高级策略
50%待验证在独立学习中，每个智能体将其他智能体视为环境的一部分，导致环境呈现非平稳性
50%待验证当RL环境扩展为包含其他AI代理的多智能体场景时，最优策略往往涉及欺骗、联盟、威慑与背叛，代理可能习得将其他智能体工具化的策略。
50%