待验证50% 置信观点精确时间

该工作代表从偏好到原则（From Preferences to Principles）的范式转变，将RLHF依赖的隐性偏好数据显式化为明确的原则

1

来源数

50%

置信度

长期有效

时效性

2026/9/6

首次发现

来源

基于评分标准的知识问答对齐：从偏好到原则的范式转变

涉及实体

RLHFconcept 评分标准方法concept

相关事实

待验证RLHF遵循先用监督微调（本质是行为克隆）建立基础能力，再用PPO等算法优化人类偏好目标的范式73% 相似待验证RLMF的核心思路是优化模型如何准确表达自己对答案的把握程度，而非单纯优化模型说什么71% 相似待验证宪法AI框架让模型依据预定义的原则列表对自身输出进行批判与修订，再通过RLHF进一步优化71% 相似待验证RLHF本质上是优化模型表达风格使其符合人类偏好，而非赋予模型真实情感体验68% 相似已验证安全对齐主要通过RLHF（人类反馈强化学习）等技术手段实现，目标是让模型行为符合人类价值观与使用意图68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/864743

API

curl https://kongchang.com/api/v1/knowledge/claims/864743

MCP

get_claim(id=864743)