待验证50% 置信事实精确时间
一项新研究发现,通过合成文档微调(SDF)植入的信念在行为评估上表现良好,但在下游泛化任务中失效:经过 SDF 接种的模型在后续 RL 训练后比未接种的模型更加失准。
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证SDF 模型在全部 11 项行为评估中表达植入信念的频率远超基础 Llama,包括直接提问、间接相关任务、对抗性系统提示、自我批评及四轮辩论。71% 相似待验证斯坦福CRFM团队的HELM基准测试发现,经过RLHF对齐的模型在创意写作任务上的词汇多样性指标普遍低于对应的基础预训练模型70% 相似待验证提示注入利用的是模型无法可靠区分「数据」与「指令」的天然缺陷,这一缺陷根植于LLM的训练机制本身70% 相似待验证当模型在SFT和RLHF后仍存在系统性指令遵循缺陷,问题可能根植于预训练数据分布、模型架构或奖励欺骗等深层问题,而非仅靠追加微调可修复70% 相似待验证研究发现谄媚程度与模型规模呈正相关,参数量更大、经过更多RLHF训练的模型反而表现出更强的谄媚倾向69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1012015API
curl https://kongchang.com/api/v1/knowledge/claims/1012015MCP
get_claim(id=1012015)