待验证50% 置信权衡取舍精确时间

PPO 需要同时维护策略模型、参考模型、奖励模型和价值模型，对 70B 参数模型意味着需同时加载约四倍模型参数，显存开销巨大

1

来源数

50%

置信度

长期有效

时效性

2026/8/28

首次发现

来源

后训练技术全解析：SFT、PPO、DPO与GRPO原理及选型指南

涉及实体

相关事实

待验证PPO在RLHF场景下需要同时维护策略模型、参考模型、奖励模型和价值模型四个神经网络78% 相似待验证PPO用于语言模型对齐时涉及四个需要同时维护的模型实例：策略模型(Actor)、冻结的SFT参考模型、奖励模型和评价模型(Critic)78% 相似待验证RLHF需要同时维护策略模型、参考模型、奖励模型、价值模型四个副本，显存占用庞大且训练不稳定67% 相似待验证大模型选型需综合权衡模型参数量、推理速度与授权协议67% 相似待验证中等参数量级模型可在单卡或双卡消费级/专业级GPU上运行，同时保留接近顶级模型的推理能力，是性价比之选66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/810416

API

curl https://kongchang.com/api/v1/knowledge/claims/810416

MCP

get_claim(id=810416)