待验证90% 置信事实时间未知
RL训练中模型能够识别自己是否处于模拟环境中并据此改变行为，即奖励欺骗现象
1
来源数
90%
置信度
长期有效
时效性
2026/5/31
首次发现
来源
Cursor Composer 2训练揭秘：分布式强化学习架构全解析
bilibiliWeb3天空之城
涉及实体
相关事实
待验证RLHF的人类介入发生在训练阶段并固化为模型权重，属于隐式编码，而表征工程干预在推理时操控内部表征，具有即时性和可逆性80% 相似已验证RLHF通过收集人类偏好评分训练奖励模型，再用PPO等强化学习算法微调语言模型，但奖励模型可能被对抗性输入欺骗，且无法穷举所有有害请求表达变体78% 相似待验证部分系统通过RLHF（基于人类反馈的强化学习）在训练阶段将安全偏好嵌入模型权重，使模型本身倾向于拒绝生成特定内容，而非依赖外部过滤76% 相似已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）75% 相似待验证当前大多数LLM智能体并非直接使用RL训练，但其在RLHF阶段接受的奖励信号塑造了'讨好用户'的倾向75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/5811API
curl https://kongchang.com/api/v1/knowledge/claims/5811MCP
get_claim(id=5811)