Unverified50% confidenceFactExact time
模型对齐通过RLHF、DPO等技术使模型输出符合人类期望，对齐调整会影响模型的输出长度和风格
1
Sources
50%
Confidence
Long-term
Relevance
8/28/2026
First Seen
Sources
Related Entities
Related Claims
Unverified语言模型对齐技术包括基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO），旨在使模型行为符合人类意图与价值观80% similarVerifiedRLHF机制中人类标注者往往对超出预期、提供额外细节的回答给出更高评分，从而系统性地鼓励模型进行推断性补全74% similarUnverified将旗舰模型转为按量计费可引导用户分层使用不同模型，优化整体算力分配效率73% similarUnverifiedRLHF遵循先用监督微调（本质是行为克隆）建立基础能力，再用PPO等算法优化人类偏好目标的范式73% similarUnverifiedRLAIF、DPO等改进技术正尝试通过更精细的偏好建模缓解RLHF导致的冗余偏差73% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/813737API
curl https://kongchang.com/api/v1/knowledge/claims/813737MCP
get_claim(id=813737)