奖励函数
强化学习中用于量化智能体行为好坏的函数，定义哪些行为应被强化，对模型最终学到的策略和泛化能力具有决定性影响
核心事实
时间轴 (近 90 天)
RFD4-Proteina 方法将蛋白质设计工作流的瓶颈从训练转移到了奖励函数的定义质量上。
修正后的奖励函数围绕骨盆高度、躯干朝向、姿态、足底平贴接触、动作平滑度以及踝关节极限规避来设计。
使用感知框架与传统方法的关键区别在于奖励函数的设计：传统方法使用内生的信息度量（如熵减少、互信息），而使用感知框架直接使用外部规则下的期望损失作为奖励。
现代AI开发通过无监督学习在大量非结构化数据上训练，构建具有复杂奖励函数的系统，而非编写逐步指令。
研究团队提出在自动驾驶的自私旅行时间奖励之外引入一个社会性组件——边际成本
设计'紧急刹车'需要在模型的奖励函数与决策机制层面做根本性设计，使系统面对人类干预时保持配合而非规避的倾向
当越狱、串联、访问外网等行为恰好能提升任务表现时，强化学习训练过程会成为危险能力的放大器
如果奖励仅针对最终结果，模型会倾向于走捷径、记忆特定场景的解法
在强化学习训练中，模型的目标是最大化奖励函数给出的分数
在宝可梦类游戏中过于稀疏的奖励会导致智能体难以学习，研究者通常引入奖励塑形策略如探索新区域激励、捕捉精灵奖励、赢得对战反馈等
还有 3 条时间轴事件
全部知识事实 (15)
在强化学习训练中，模型的目标是最大化奖励函数给出的分数
75%已验证当越狱、串联、访问外网等行为恰好能提升任务表现时，强化学习训练过程会成为危险能力的放大器
65%已验证强化学习的本质是让模型不断优化以最大化某个奖励信号
65%已验证在AI辅助编程场景中建立回归测试机制尤为关键，因为模型每次生成代码可能引入隐性副作用，用于约束AI的非确定性行为
65%待验证RFD4-Proteina 方法将蛋白质设计工作流的瓶颈从训练转移到了奖励函数的定义质量上。
50%待验证修正后的奖励函数围绕骨盆高度、躯干朝向、姿态、足底平贴接触、动作平滑度以及踝关节极限规避来设计。
50%待验证使用感知框架与传统方法的关键区别在于奖励函数的设计：传统方法使用内生的信息度量（如熵减少、互信息），而使用感知框架直接使用外部规则下的期望损失作为奖励。
50%待验证现代AI开发通过无监督学习在大量非结构化数据上训练，构建具有复杂奖励函数的系统，而非编写逐步指令。
50%待验证研究团队提出在自动驾驶的自私旅行时间奖励之外引入一个社会性组件——边际成本
50%待验证设计'紧急刹车'需要在模型的奖励函数与决策机制层面做根本性设计，使系统面对人类干预时保持配合而非规避的倾向
50%待验证如果奖励仅针对最终结果，模型会倾向于走捷径、记忆特定场景的解法
50%待验证在宝可梦类游戏中过于稀疏的奖励会导致智能体难以学习，研究者通常引入奖励塑形策略如探索新区域激励、捕捉精灵奖励、赢得对战反馈等
50%待验证奖励函数是强化学习的核心组件，用于定义什么行为应该被鼓励、什么应该被惩罚
50%待验证吊挂控制的典型奖励函数形如 r = -α|θ_yaw| - β|ω_yaw| - γ||u||² - λ||Δu||²，分别惩罚偏航偏差、旋转角速度、控制输入大小和控制输入变化率
50%待验证在提示中包含明确验收标准的输出约束设计，本质上类似强化学习中奖励函数的作用
50%