基于评分标准的知识问答对齐：从偏好到原则的范式转变

开放域问答的奖励困境

在大语言模型的后训练（post-training）阶段，如何设计有效的奖励信号一直是核心难题。**后训练是指在大语言模型完成预训练后，通过额外的训练步骤使其行为更符合人类期望的过程。**预训练阶段模型从海量文本中学习语言模式和知识，但这并不能保证模型输出符合人类价值观、遵循指令或避免有害内容。后训练通常包括监督微调（SFT）、基于人类反馈的强化学习（RLHF）等技术，目标是让模型学会"什么样的回答是好的"。这个阶段的核心挑战在于如何定义"好"——即设计有效的奖励信号来引导模型优化方向。

对于开放域问答（open-domain QA）任务，这个问题尤为棘手。开放域问答是指模型需要在没有限定知识范围的情况下回答各类问题，与封闭域问答相对。这类任务的难点在于：问题可能涉及任何领域知识，答案需要从海量信息中提取或推理；回答质量的评估维度复杂，既要求事实准确，也要求表达清晰、逻辑连贯。一个高质量的回答需要同时满足多个维度的要求：内容组织是否清晰、事实是否有据可循、是否严格遵循了用户指令。然而，传统对齐方法通常依赖一个整体性的标量奖励（holistic scalar objective），试图用单一分数来概括复杂的多维度质量。

**标量奖励是指用单一数值来表示回答质量的方法，本质上是将多维度的复杂质量压缩为一维信号。**其局限性在于：当模型在某个维度表现差（如事实错误）但在其他维度表现好（如语言流畅）时，标量奖励会产生混淆信号，模型无法判断优化方向。这就像老师批改作文只给一个总分，却不指出是结构问题、论据问题还是审题问题——学生自然难以针对性改进。

针对这一痛点，一种全新的基于评分标准（rubric-based）的奖励框架应运而生，将模糊的"偏好"转化为清晰的"原则"。

核心方法：查询特定的评分标准生成

从整体评分到细粒度监督

该方法的核心创新在于引入了一套查询特定（query-specific）的评分标准生成机制。与以往用单一分数评价整个回答不同，这套框架会为每一个具体查询动态生成一份专属的评分标准。

这份评分标准具备两个关键特征：

• 基于检索证据（grounded in retrieved evidence）：评分标准并非凭空生成，而是建立在为回答问题所检索到的真实证据之上。**这里采用的是检索增强生成（RAG）技术，模型在生成回答前先从外部知识库检索相关文档片段，再基于这些证据生成答案。**评价标准本身锚定在为特定问题检索到的真实文档上，确保评价标准与问题的实际信息需求紧密相关，同时使得"事实依据"维度的评估具有可操作性。

• 多维度分解（decomposed into multiple quality dimensions）：将回答质量拆解为多个可独立评估的维度，避免混为一谈。**在机器学习中，监督信号的粒度直接影响模型的学习效率和最终性能。**细粒度信号能够减少对齐所需的样本数量，并提升最终模型的多维度均衡性。

通过这种方式，模型在后训练过程中能够获得细粒度的监督信号，明确知道自己在每个质量维度上的表现。

分解奖励信号的优势

将奖励信号分解为多个维度，本质上是把一个难以优化的复杂目标拆解为若干更易处理的子目标。这一思路与软件工程中的"分而治之"以及机器学习中的多任务学习异曲同工。**多目标优化理论指出，将复杂目标分解为多个子目标并分别优化，通常比直接优化单一混合目标更有效。**当奖励信号更加透明和结构化时，模型的学习效率和可解释性都会显著提升。

三大评估维度详解

研究团队将回答质量沿三个核心评估轴进行衡量，每个维度各有侧重。

内容组织（Composition）

这一维度关注回答本身的结构和表达质量。一个好的回答不仅要包含正确信息，还需要逻辑清晰、条理分明、语言流畅。对于开放域问答场景，组织良好的回答能够让用户更快、更准确地获取所需信息。

事实依据（Grounding）

这是知识问答场景中至关重要的维度。所谓"grounding"，指回答的每个论断都应当有据可循，能够追溯到检索得到的可靠证据。在大模型幻觉（hallucination）问题依然普遍的当下，强调事实依据的对齐方法具有很强的现实意义。

**大语言模型的幻觉问题是指模型生成听起来流畅、自信但实际上虚假或无法验证的内容。**这一现象源于模型的生成机制：预训练时模型学习的是文本的统计规律而非真实世界的因果关系，因此在缺乏明确证据时，模型会基于语言模式"合理推测"出听起来像答案的内容。评分标准方法通过引入"事实依据"维度的显式奖励，从对齐层面激励模型只基于可验证证据生成内容，直接约束模型"说话要有出处"，从而在训练阶段就减少幻觉倾向。

指令遵循（Instruction-Following）

第三个维度评估模型是否准确理解并执行了用户指令。用户的问题往往包含隐含或显式的约束条件，比如回答的格式、范围、语气等。指令遵循能力的强弱，直接决定了模型的实用性和用户体验。

通过在这三个维度上分别提供监督，该框架实现了对回答质量更全面、更立体的刻画。

实验效果与核心发现

在内容组织、事实依据、指令遵循三个评估轴上取平均后，该基于评分标准的方法相较于基线方法取得了明显提升。这表明将奖励信号结构化、细粒度化的思路确实能够带来实质性的性能改进。

从偏好学习到原则学习的范式转变

这项工作最深刻的价值在于它所代表的范式转变——"From Preferences to Principles"（从偏好到原则）：

• 传统的 RLHF（基于人类反馈的强化学习）等方法主要依赖偏好数据，即人类标注者对不同回答的相对偏好。**RLHF的核心流程包括：收集人类标注者的偏好排序，训练奖励模型来预测人类偏好，使用强化学习算法让生成模型最大化预测的奖励。**这类信号本质上是隐性的、难以解释的——模型只知道"这个更好"，却不知道"为什么更好"、"好在哪里"。

• 评分标准方法则将这些隐性偏好显式化为明确的原则，让模型知道"为什么这个回答更好"，而不仅仅是"这个回答更好"。

这种从隐性偏好到显式原则的转变，不仅提升了对齐效果，也为对齐过程带来了更强的可解释性和可控性。**可解释性是指AI系统的决策过程和内部机制能够被人类理解的程度。**在大模型对齐领域，可解释性具有多重战略价值：当对齐效果不佳时，可解释的奖励信号能帮助研究者快速定位问题；随着AI系统在高风险场景的应用，监管机构和用户要求能够审计和理解模型的决策依据。研究者和实践者可以直接审视、调整评分标准，从而更精细地引导模型行为。

结构化奖励的未来方向

这项工作为大模型对齐领域提供了一个富有启发性的方向。随着模型能力不断增强，如何设计既精准又可解释的奖励信号，将成为决定对齐质量的关键因素。

基于评分标准的方法有几个值得关注的延伸方向：

• 评分标准的自动生成质量：评分标准本身由模型生成，其质量直接影响最终对齐效果。如何保证评分标准的准确性和完整性，是持续需要攻克的挑战。

• 跨领域泛化能力：目前该方法聚焦于知识问答，未来能否推广到代码生成、创意写作等其他开放域任务，值得进一步探索。

• 与检索增强生成（RAG）的深度结合：由于评分标准建立在检索证据之上，这一方法天然与 RAG 架构契合，二者的协同有望成为构建可信 AI 问答系统的重要路径。RAG与细粒度奖励的结合，代表了构建可验证、可信AI系统的重要方向。

总体而言，这项研究传递了一个重要信号：在追求更强大模型能力的同时，让模型的"评价体系"变得更加透明、结构化和有原则，或许才是通向真正可靠 AI 的关键一步。通过将"好回答"的定义从隐性偏好变为显式原则，本质上是在构建一个可读、可审计、可修改的对齐框架，这对于大模型的负责任开发至关重要。

核心要点