待验证50% 置信观点精确时间

自回归模型的RLHF路线已经相当成熟，而扩散模型直接照搬自回归的RL方法往往效果不佳

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/9/16

首次发现

有效期至：2026/12/15

来源

DACA-GRPO：为扩散语言模型强化学习引入去噪感知信用分配

涉及实体

RLHFconcept Diffusion LLMconcept

相关事实

待验证RLHF本质上是在模型输出分布上施加统计偏好，而非植入真正的价值理解，导致表面对齐在面对对抗性输入时易崩塌74% 相似待验证RL让模型收敛到少数几种被验证过的高分打法上，使模型变得更好但表达更窄74% 相似待验证不同AI模型在预训练数据分布和RLHF对齐策略上存在差异，导致对同一问题有不同的推理路径，因此换模型有时能解决单一模型反复失败的问题70% 相似已验证RLHF本质上是一种行为层面的约束，并不改变模型的底层能力，经过RLHF训练的模型仍保留被限制行为的潜在知识69% 相似待验证RLHF需要同时维护策略模型、参考模型、奖励模型、价值模型四个副本，显存占用庞大且训练不稳定69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/927931

API

curl https://kongchang.com/api/v1/knowledge/claims/927931

MCP

get_claim(id=927931)