奖励塑形
强化学习中设计和调整奖励函数的方法，用于引导智能体学习期望行为，是RL调试中的核心难题之一
Core Facts
Timeline (last 90 days)
奖励塑形是指在原始稀疏奖励之外加入额外的、更密集的引导性奖励信号，帮助智能体更快更正确地学习
作者借助奖励塑形和联盟对战最终训练出相对有趣的对战表现
奖励塑形信号太弱AI会走捷径，太强或设计不当又可能引入新漏洞或限制探索空间
稀疏奖励场景下智能体往往需要借助课程学习、奖励塑形或基于内在动机的探索等技术才能有效收敛
在宝可梦类游戏中过于稀疏的奖励会导致智能体难以学习，研究者通常引入奖励塑形策略如探索新区域激励、捕捉精灵奖励、赢得对战反馈等
实验发现塑形奖励配置下的task_score仅为0.125，而朴素奖励配置为0.417，效应量d=4.47
奖励塑形方法最早由Andrew Ng等人在1999年的论文《Policy Invariance Under Reward Transformations》中系统化
奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径
All Facts (9)
奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径
85%Unverified约束驱动法的提示词策略只设定边界条件而不预设实现路径，与强化学习中的'奖励塑形'（reward shaping）理念一致
65%Unverified稀疏奖励场景下智能体往往需要借助课程学习、奖励塑形或基于内在动机的探索等技术才能有效收敛
60%Unverified作者借助奖励塑形和联盟对战最终训练出相对有趣的对战表现
50%Unverified奖励塑形是指在原始稀疏奖励之外加入额外的、更密集的引导性奖励信号，帮助智能体更快更正确地学习
50%Unverified奖励塑形信号太弱AI会走捷径，太强或设计不当又可能引入新漏洞或限制探索空间
50%Unverified在宝可梦类游戏中过于稀疏的奖励会导致智能体难以学习，研究者通常引入奖励塑形策略如探索新区域激励、捕捉精灵奖励、赢得对战反馈等
50%Unverified奖励塑形方法最早由Andrew Ng等人在1999年的论文《Policy Invariance Under Reward Transformations》中系统化
50%Unverified实验发现塑形奖励配置下的task_score仅为0.125，而朴素奖励配置为0.417，效应量d=4.47
50%