待验证50% 置信权衡取舍精确时间

当前主流对齐技术如RLHF往往与模型能力提升深度绑定，使得只修对齐不提升能力在技术上可能无法严格实现

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

AI对齐新主张：训完上一代之前，别急着训下一代

涉及实体

RLHFtechnology 能力与对齐纠缠concept

相关事实

待验证Pachocki认为当前基于RLHF等对齐技术在面对超级智能系统时可能存在根本性局限80% 相似待验证2023年多项研究证明，即使经过RLHF对齐的模型也难以完全抵抗精心设计的间接提示词注入77% 相似待验证仅靠微调阶段的RLHF或许永远无法产生真正鲁棒的安全对齐76% 相似已验证传统RLHF方法存在「奖励黑客」的根本性局限，模型可能学会在评估场景中表现良好却在分布外场景中失效72% 相似待验证研究表明RLHF在模型残差流中留下的安全拒绝行为呈现低秩线性结构，主要分布在少数几个主方向上，因此易被正交投影移除71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1000065

API

curl https://kongchang.com/api/v1/knowledge/claims/1000065

MCP

get_claim(id=1000065)