待验证50% 置信事实精确时间

RLHF 流程复杂、显存占用高，通常需要策略模型、参考模型、奖励模型和值函数模型同时在位，因此对 GPU 资源要求远高于 SFT。

1

来源数

50%

置信度

长期有效

时效性

2026/10/24

首次发现

来源

Together AI B200训练降价：首八周9美元/GPU时

twittertogethercompute2026/10/20

涉及实体

相关事实

待验证RLHF的计算成本极高:需要同时运行策略模型、价值模型、奖励模型和参考模型,内存占用是监督学习的数倍76% 相似已验证RLHF需要同时维护策略模型、参考模型、奖励模型、价值模型四个副本，显存占用庞大且训练不稳定75% 相似待验证PPO在RLHF场景下需要同时维护策略模型、参考模型、奖励模型和价值模型四个神经网络73% 相似待验证RLHF 已成为对齐大模型的标准流程，但其计算成本和稳定性问题依然突出。73% 相似待验证大模型推理中GPU显存消耗主要来自模型权重、激活值和KV Cache三部分71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1093102

API

curl https://kongchang.com/api/v1/knowledge/claims/1093102

MCP

get_claim(id=1093102)