待验证50% 置信事实精确时间
强化学习微调降水扩散模型时，奖励设计不当会导致模式坍塌（生成多样性下降）或奖励黑客（只优化评分而牺牲物理一致性），且训练需大量采样，计算成本较高。
1
来源数
50%
置信度
长期有效
时效性
2026/10/30
首次发现
来源
涉及实体
相关事实
待验证强化学习在此类任务中通常指让模型对同一问题生成多个候选答案，再依据奖励信号强化得分高、抑制得分低的输出；奖励设计粗糙会诱发刷分行为。78% 相似待验证训练稳定性在强化学习中至关重要，因为策略更新、奖励稀疏、环境随机性都会导致曲线波动，某些自蒸馏方法可能在训练中途出现奖励骤降、熵坍缩（策略过早收敛到单一行为）或梯度异常。77% 相似待验证外部奖励模型通常需要大量人类偏好数据训练，且一旦分布漂移就可能奖励'看似合理实则失败'的输出，即所谓的奖励欺骗（reward hacking）。77% 相似待验证对抗式奖励设计借鉴生成对抗网络（GAN）思路，用两个或多个相互制衡的评分器避免单一奖励被轻易 hack，其代价是训练成本上升、奖励信号方差增大，且若评分器共享同一偏见则对抗效果大打折扣。76% 相似待验证强化学习的典型算法包括 PPO、SAC 等，核心难点在于奖励设计——奖励过于稀疏会导致学习缓慢，过于具体又容易让策略钻空子。76% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1113886API
curl https://kongchang.com/api/v1/knowledge/claims/1113886MCP
get_claim(id=1113886)