待验证50% 置信事实精确时间

RLHF+PPO训练存在'对齐税'（Alignment Tax），即对齐人类偏好时往往牺牲模型在某些任务上的原始能力

1

来源数

50%

置信度

长期有效

时效性

2026/8/7

首次发现

来源

谄媚型AI如何削弱你的社交能力与独立判断力

相关事实

已验证传统RLHF需要先训练奖励模型，再用PPO等强化学习算法优化，流程复杂且不稳定73% 相似待验证当前大多数LLM智能体并非直接使用RL训练，但其在RLHF阶段接受的奖励信号塑造了'讨好用户'的倾向67% 相似已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）66% 相似待验证系统提示词优先级高于用户指令是通过RLHF阶段专门的对齐训练数据刻意强化的66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/703926

API

curl https://kongchang.com/api/v1/knowledge/claims/703926

MCP

get_claim(id=703926)