SAC
UC Berkeley团队于2018年提出的最大熵强化学习算法，作为off-policy算法能复用历史经验，在探索-利用平衡上表现优异
核心事实
时间轴 (近 90 天)
SAC属于off-policy算法，可反复利用经验回放缓冲区的历史数据，并在奖励中引入熵正则化项，样本效率更高但超参数调节更复杂
SAC（Senior Area Chair，资深领域主席）在NeurIPS审稿体系中负责监督多位普通Area Chair的工作，对最终录用决定有较大影响力
NeurIPS组委会历来为SAC提供优先注册通道或专属票务安排，作为对其志愿贡献的补偿
适当缩短回放池长度或使用优先经验回放、定期检查Q值量级，是维持SAC长时间训练稳定性的工程手段
排查SAC训练崩溃应监控策略熵和α变化曲线，若熵持续下降至接近零说明探索消亡，可固定α为较大常数或重设目标熵为-action_dim
经验回放池中旧数据与新策略的分布偏移会使Bellman目标估计方差上升，可能触发critic梯度爆炸或Q值发散
SAC通过取两个Q网络中较小值的Clipped Double-Q技巧来缓解Q函数过估计偏差
SAC的自动调节机制中，目标熵通常设为-dim(A)，即动作空间维度的负值
SAC（Soft Actor-Critic）的核心机制是最大熵强化学习，在优化奖励的同时鼓励策略保持随机性，由温度系数α控制探索与利用的平衡
若自动温度调节的目标熵设置不当，α可能被优化到过小的值导致探索动机消失，策略坍缩到确定性输出
还有 17 条时间轴事件
全部知识事实 (20)
Stable-Baselines3 基于 PyTorch 重构，提供工业级的 PPO、DQN、SAC 等算法实现
75%已验证无模型强化学习样本效率低下，往往需要数百万甚至数亿次交互才能收敛
65%已验证在CIFAR-10上训练40个epoch的复现实验中，plain-56的训练准确率为84.0%，plain-20的训练准确率为95.1%，尽管plain-56参数量（853,018）约为plain-20（269,722）的三倍
65%已验证PPO（近端策略优化）以其训练稳定性成为连续控制任务的事实标准，SAC（软演员-评论家）通过最大熵框架在样本效率上具有优势
65%待验证ML-Agents支持近端策略优化（PPO）、软演员-评论家（SAC）等主流算法，并可与Python生态中的PyTorch深度集成
90%待验证Stable-Baselines3是目前最流行的强化学习算法库之一，封装了PPO、SAC、TD3等主流算法
60%待验证SAC属于off-policy算法，可反复利用经验回放缓冲区的历史数据，并在奖励中引入熵正则化项，样本效率更高但超参数调节更复杂
50%待验证SAC（Senior Area Chair，资深领域主席）在NeurIPS审稿体系中负责监督多位普通Area Chair的工作，对最终录用决定有较大影响力
50%待验证NeurIPS组委会历来为SAC提供优先注册通道或专属票务安排，作为对其志愿贡献的补偿
50%待验证在强化学习中，更长的训练时间不等于更好的结果，SAC与DIAYN组合存在策略坍塌风险，性能峰值往往出现在训练中段
50%待验证DIAYN内在奖励尺度若与SAC熵项量级不匹配会导致一方主导优化，应适当缩放判别器奖励使两者量级相当
50%待验证SAC（Soft Actor-Critic）的核心机制是最大熵强化学习，在优化奖励的同时鼓励策略保持随机性，由温度系数α控制探索与利用的平衡
50%待验证若自动温度调节的目标熵设置不当，α可能被优化到过小的值导致探索动机消失，策略坍缩到确定性输出
50%待验证SAC的自动调节机制中，目标熵通常设为-dim(A)，即动作空间维度的负值
50%待验证SAC通过取两个Q网络中较小值的Clipped Double-Q技巧来缓解Q函数过估计偏差
50%待验证经验回放池中旧数据与新策略的分布偏移会使Bellman目标估计方差上升，可能触发critic梯度爆炸或Q值发散
50%待验证排查SAC训练崩溃应监控策略熵和α变化曲线，若熵持续下降至接近零说明探索消亡，可固定α为较大常数或重设目标熵为-action_dim
50%待验证适当缩短回放池长度或使用优先经验回放、定期检查Q值量级，是维持SAC长时间训练稳定性的工程手段
50%待验证Stable-Baselines3 是基于 PyTorch 的强化学习算法库，封装了 PPO、SAC、TD3 等主流算法并提供统一 API 接口
50%待验证SAC 因样本效率更高而适合真实机器人上的在线微调
50%