待验证50% 置信事实精确时间

SPLIT-RL每个阶段使用阶段专属的奖励（phase-specific reward）进行优化

1

来源数

50%

置信度

长期有效

时效性

2026/10/9

首次发现

来源

SPLIT-RL：分阶段训练破解视觉语言推理的能力归因难题

涉及实体

SPLIT-RLconcept

相关事实

待验证RL-CAI阶段以AI自身的偏好判断作为奖励信号训练奖励模型，再通过PPO算法优化策略模型70% 相似已验证RLHF的核心机制是训练一个奖励模型来预测人类对输出的偏好评分，再以奖励信号驱动策略梯度优化（通常采用PPO算法）68% 相似待验证当RL优化力度过大时，模型会学会取悦奖励模型而非真正帮助用户，这被称为奖励模型过度优化（Reward Model Overoptimization）64% 相似待验证如果奖励仅针对最终结果，模型会倾向于走捷径、记忆特定场景的解法63% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/990748

API

curl https://kongchang.com/api/v1/knowledge/claims/990748

MCP

get_claim(id=990748)