待验证50% 置信事实精确时间
RLHF需要同时维护策略模型、参考模型、奖励模型、价值模型四个副本，显存占用庞大且训练不稳定
1
来源数
50%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
FTPO：从训练层面根治AI重复循环的新方案
hackernewshackernews2026/7/7
相关事实
待验证PPO在RLHF场景下需要同时维护策略模型、参考模型、奖励模型和价值模型四个神经网络82% 相似待验证人在回路(HITL)的审批结果可同时作为RLHF训练数据，形成模型能力持续提升的飞轮78% 相似待验证RLHF本质上是一种行为层面的约束，并不改变模型的底层能力，经过RLHF训练的模型仍保留被限制行为的潜在知识76% 相似待验证不同AI模型在预训练数据分布和RLHF对齐策略上存在差异，导致对同一问题有不同的推理路径，因此换模型有时能解决单一模型反复失败的问题73% 相似待验证现代推理模型普遍采用RLHF或其变体RLAIF进行对齐训练，模型在训练中学会何时停止推理、何时输出答案72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/410467API
curl https://kongchang.com/api/v1/knowledge/claims/410467MCP
get_claim(id=410467)