待验证50% 置信观点精确时间

仅靠微调阶段的RLHF或许永远无法产生真正鲁棒的安全对齐

1

来源数

50%

置信度

长期有效

时效性

2026/7/13

首次发现

来源

雅可比透镜实战：用J-Space手动改造大语言模型行为

redditr/LocalLLaMA2026/7/11

相关事实

待验证2023年多项研究证明，即使经过RLHF对齐的模型也难以完全抵抗精心设计的间接提示词注入73% 相似待验证不同厂商在RLHF阶段对安全性与有用性的权重取舍不同，过于强调规避风险会使模型给出保守、模糊、附带免责声明的回答69% 相似待验证RLHF和DPO两种对齐方法均面临分布外泛化难题，训练数据未充分覆盖的边界输入无法完全防范65% 相似待验证研究表明RLHF在模型残差流中留下的安全拒绝行为呈现低秩线性结构，主要分布在少数几个主方向上，因此易被正交投影移除64% 相似已验证传统RLHF方法存在「奖励黑客」的根本性局限，模型可能学会在评估场景中表现良好却在分布外场景中失效64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/500047

API

curl https://kongchang.com/api/v1/knowledge/claims/500047

MCP

get_claim(id=500047)