已验证65% 置信事实精确时间

RLHF需要同时维护策略模型、参考模型、奖励模型、价值模型四个副本，显存占用庞大且训练不稳定

3

来源数

65%

置信度

长期有效

时效性

2026/7/10

首次发现

来源

FTPO：从训练层面根治AI重复循环的新方案

hackernewshackernews2026/7/7

相关事实

待验证PPO在RLHF场景下需要同时维护策略模型、参考模型、奖励模型和价值模型四个神经网络82% 相似待验证人在回路(HITL)的审批结果可同时作为RLHF训练数据，形成模型能力持续提升的飞轮78% 相似已验证RLHF本质上是一种行为层面的约束，并不改变模型的底层能力，经过RLHF训练的模型仍保留被限制行为的潜在知识76% 相似待验证RLHF的计算成本极高:需要同时运行策略模型、价值模型、奖励模型和参考模型,内存占用是监督学习的数倍75% 相似待验证不同AI模型在预训练数据分布和RLHF对齐策略上存在差异，导致对同一问题有不同的推理路径，因此换模型有时能解决单一模型反复失败的问题73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/410467

API

curl https://kongchang.com/api/v1/knowledge/claims/410467

MCP

get_claim(id=410467)