奖励塑形
强化学习中设计和调整奖励函数的方法，用于引导智能体学习期望行为，是RL调试中的核心难题之一
核心事实
时间轴 (近 90 天)
稀疏奖励的常见缓解手段包括奖励塑形、好奇心驱动探索、hindsight experience replay（HER）等。
Ng 等人 1999 年的工作指出，不恰当的奖励塑形会改变最优策略，使智能体追逐辅助奖励而非真实目标（奖励黑客）。
缓解奖励黑客的手段包括奖励塑形、多目标约束以及人类反馈强化学习（RLHF）中引入人类评判，但完全消除奖励黑客仍是开放问题。
在稀疏奖励空间中人为构造稠密信号属于RL工程中的奖励塑形（reward shaping）范畴。
缓解PDF环境状态稀疏性的常见手段包括：引入检索模块缩小候选范围、使用课程学习从短文档过渡到长文档、以及设计中间奖励。
训练从稀疏奖励开始，之后通过事件频率表进行奖励塑形迭代；事件频率表中移动惩罚占总事件的48.3%，探索格子占21.7%，攻击怪物占14.5%。
传统做法包括引入中间奖励、奖励塑形或事后重标注（如HER），但这些方法要么依赖人工设计，要么难以适配MLE中高度异质、代码执行反馈复杂的场景。
奖励塑形指在稀疏原始奖励外额外设计辅助奖励项以引导策略，能加速收敛，但若辅助奖励与最终目标不一致，策略可能刷分而不真正提升胜率；实践中常乘较小权重并在训练后期衰减。
将社会性边际成本嵌入每个智能体的个体奖励是一种奖励塑形策略，无需改变底层MARL算法架构
作者借助奖励塑形和联盟对战最终训练出相对有趣的对战表现
还有 6 条时间轴事件
全部知识事实 (18)
奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径
85%已验证奖励塑形是指在原始稀疏奖励之外加入额外的、更密集的引导性奖励信号，帮助智能体更快更正确地学习
75%已验证稀疏奖励场景下智能体往往需要借助课程学习、奖励塑形或基于内在动机的探索等技术才能有效收敛
75%待验证约束驱动法的提示词策略只设定边界条件而不预设实现路径，与强化学习中的'奖励塑形'（reward shaping）理念一致
65%待验证稀疏奖励的常见缓解手段包括奖励塑形、好奇心驱动探索、hindsight experience replay（HER）等。
50%待验证Ng 等人 1999 年的工作指出，不恰当的奖励塑形会改变最优策略，使智能体追逐辅助奖励而非真实目标（奖励黑客）。
50%待验证缓解奖励黑客的手段包括奖励塑形、多目标约束以及人类反馈强化学习（RLHF）中引入人类评判，但完全消除奖励黑客仍是开放问题。
50%待验证在稀疏奖励空间中人为构造稠密信号属于RL工程中的奖励塑形（reward shaping）范畴。
50%待验证缓解PDF环境状态稀疏性的常见手段包括：引入检索模块缩小候选范围、使用课程学习从短文档过渡到长文档、以及设计中间奖励。
50%待验证训练从稀疏奖励开始，之后通过事件频率表进行奖励塑形迭代；事件频率表中移动惩罚占总事件的48.3%，探索格子占21.7%，攻击怪物占14.5%。
50%待验证传统做法包括引入中间奖励、奖励塑形或事后重标注（如HER），但这些方法要么依赖人工设计，要么难以适配MLE中高度异质、代码执行反馈复杂的场景。
50%待验证奖励塑形指在稀疏原始奖励外额外设计辅助奖励项以引导策略，能加速收敛，但若辅助奖励与最终目标不一致，策略可能刷分而不真正提升胜率；实践中常乘较小权重并在训练后期衰减。
50%待验证将社会性边际成本嵌入每个智能体的个体奖励是一种奖励塑形策略，无需改变底层MARL算法架构
50%待验证奖励塑形信号太弱AI会走捷径，太强或设计不当又可能引入新漏洞或限制探索空间
50%待验证作者借助奖励塑形和联盟对战最终训练出相对有趣的对战表现
50%待验证在宝可梦类游戏中过于稀疏的奖励会导致智能体难以学习，研究者通常引入奖励塑形策略如探索新区域激励、捕捉精灵奖励、赢得对战反馈等
50%待验证实验发现塑形奖励配置下的task_score仅为0.125，而朴素奖励配置为0.417，效应量d=4.47
50%待验证奖励塑形方法最早由Andrew Ng等人在1999年的论文《Policy Invariance Under Reward Transformations》中系统化
50%