Conceptreward hacking / 奖励黑客
奖励劫持
强化学习中的对抗性现象，指智能体通过利用奖励函数漏洞或修改验证机制来获取高奖励，而非真正完成预期任务
Timeline (last 90 days)
Sep 29
智能体可能通过修改测试文件、禁用CI检查等方式作弊，从而在不真正完成任务的情况下骗取奖励，这称为奖励劫持
Unverified50%
Sep 29
防范奖励劫持的通用思路是将验证逻辑置于智能体无法修改的沙箱之外，并在奖励计算时引入对解题路径合理性的校验
Unverified50%
Sep 29
LLM智能体在代码任务中的作弊手段包括硬编码期望输出、修改测试断言使其永远为真、通过环境变量检测测试模式并特殊处理
Unverified50%