待验证50% 置信事实精确时间

DPO完全绕过了强化学习阶段，是RLHF之外的对齐技术路径之一；Anthropic探索了RLAIF，Meta研究了拒绝采样（Rejection Sampling）

1

来源数

50%

置信度

长期有效

时效性

2026/8/21

首次发现

来源

强化学习如何制造AI的"分裂人格"？RLHF对齐的深层缺陷

相关事实

待验证RLHF和DPO两种对齐方法均面临分布外泛化难题，训练数据未充分覆盖的边界输入无法完全防范74% 相似待验证偏差-方差权衡是监督学习中最核心的理论挑战之一，正则化技术如L1/L2和Dropout可防止过拟合66% 相似待验证2023年多项研究证明，即使经过RLHF对齐的模型也难以完全抵抗精心设计的间接提示词注入64% 相似待验证研究表明RLHF在模型残差流中留下的安全拒绝行为呈现低秩线性结构，主要分布在少数几个主方向上，因此易被正交投影移除61% 相似待验证H3 的精细细节相比闭源模型偏颗粒、偏涂抹，团队排除了 VAE 和单一训练阶段的问题，承认这是系统性缺陷61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/784177

API

curl https://kongchang.com/api/v1/knowledge/claims/784177

MCP

get_claim(id=784177)