[控场AI]
· 3 分钟阅读· 1,888 字

GT-FENG:为语言模型事实评估引入规则归因新框架

GT-FENG:为语言模型事实评估引入规则归因新框架

GT-FENG框架通过文档化规则归因,评估模型在规则支配领域的情境正确性,减少错误混淆。

GT-FENG是一个统一情境/时间正确性与基于规则错误归因的通用框架,旨在解决规则支配领域(如法律、政策)中模型评估的难题。传统评估仅比对答案数值,忽略了模型可能使用了错误规则。GT-FENG通过两步机制:先依据文档化规则检查答案正确性,再对错误答案检索匹配的规则,实现错误归因(规则混淆、过时或幻觉)。在Medicaid收入上限问答实验中,引入被询问州自身文档化记录后,仅匹配其他州数值的错误答案减少了68-78%,超过一半的稳定错误答案匹配两个或以上文档化来源,暗示规则混淆或训练数据冲突。GT-FENG已开源为Python包gtfeng,为规则密集型领域的模型评估提供了从“答案准确率”转向“规则忠实度”的新思路。

语言模型给出的答案是否正确,往往取决于具体情境——同一个数值在某个司法辖区、某个日期或某条法律定义下是正确的,换一个条件就可能变成错误。这种情境依赖性让模型评估变得棘手:仅看答案本身,很难判断模型是真正理解了规则,还是碰巧蒙对了数值。针对这一痛点,研究者提出了GT-FENG(General Theory of Factual Evaluation and Normative Grounding),一个统一情境/时间正确性与基于规则的错误归因的通用框架。

评估困境:答案对错背后的规则依赖

在受规则支配的领域(如法律、政策、社会福利),事实正确性很少是绝对的。以医疗补助(Medicaid)收入上限为例,各州有自己的标准,同一个申请者在不同州可能符合条件也可能不符合。传统评估只比对答案与标准答案的数值是否一致,却忽略了模型可能借用了其他辖区的规则。GT-FENG的核心洞察在于:当多条规则给出相同数值时,单靠答案无法区分模型实际使用了哪条规则。

GT-FENG框架示意图

这一视角将评估从“答案是否匹配”推进到“答案是否由适用规则支撑”,为规则密集型场景下的模型可靠性提供了更细致的度量。

规则支配领域指那些由明确、成文的规则(如法律条文、行政规章、政策指南)来定义正确与错误的领域。在这类领域中,正确答案并非普适常量,而是随着规则版本、适用地域和时间的变化而改变。例如,医疗补助的收入上限由各州自行设定,且可能逐年调整。因此,评估模型时,不能仅看最终数值是否匹配,还需确认模型是否依据了正确的规则。这与开放域问答中事实相对稳定的情况形成对比,要求评估方法能够追踪规则来源和适用条件。

框架设计:规则匹配与错误归因

GT-FENG的工作机制分为两步。首先,它依据适用规则检查答案的正确性——这里的规则是文档化的、可追溯的,而非隐含在模型参数中的模糊知识。其次,对于错误答案,框架会检索是否有文档化的规则恰好能匹配该错误值,从而判断错误是源于规则混淆、规则过时还是纯粹的幻觉。

这种归因能力让评估结果更具可操作性。开发者不仅能知道模型错了,还能知道它错在哪条规则上,进而有针对性地改进检索增强或微调策略。

检索增强生成(RAG) 是一种将外部知识检索与语言模型生成相结合的技术范式。在规则密集型场景中,RAG系统会先从文档库中检索相关规则条文,再基于检索结果生成答案。GT-FENG的归因思路与此互补:它不仅评估答案对错,还通过比对答案与文档化规则,判断模型是否“忠实”于检索到的规则,从而区分模型是正确使用了规则,还是碰巧匹配了数值。这种结合有助于开发者优化检索策略或调整模型提示,以降低规则混淆。

实证发现:文档化记录显著降低规则混淆

研究者在两个模型上进行了Medicaid收入上限问答实验。当引入被询问州自身的文档化记录后,仅匹配其他州数值的错误答案数量下降了68%–78%。这意味着相当一部分错误源于模型跨州规则混淆,而非完全捏造。更值得关注的是,超过一半的稳定错误答案在引入文档化来源后,会匹配到两个或以上的文档化来源——暗示模型可能在不同规则间摇摆,或训练数据中存在冲突信号。

这一结果从侧面说明,提供权威、结构化的规则文档对提升模型在政策类问答中的表现具有实质价值。

稳定错误答案指那些在不同评估设置或多次运行中持续出现的错误答案,而非随机波动产生的偶然错误。这类错误往往反映了模型内部知识或推理过程的系统性偏差。在GT-FENG实验中,稳定错误答案在引入文档化来源后,超过一半会匹配到两个或以上的文档化规则,这暗示模型可能在不同规则之间摇摆,或者训练数据中包含了相互冲突的信号。识别稳定错误有助于定位模型的知识缺陷,指导针对性的数据清洗或规则对齐。

开源工具与未来方向

GT-FENG已作为开源Python包gtfeng发布,供研究者和开发者复现实验或集成到自有评估流程中。作者将其定位为规则支配领域模型评估的基础设施,并期待后续基准测试和评估工具包能在此基础上构建。

对于关注AI在法律、政策等高风险场景落地的团队而言,GT-FENG提供了一种从“答案准确率”转向“规则忠实度”的评估思路。它提醒我们:在规则密集的领域,一个正确答案若没有正确的规则支撑,可能只是统计上的巧合,而非真正的理解。

随着语言模型越来越多地介入专业决策辅助,这类细粒度的评估框架将成为可信AI不可或缺的一环。

#GT-FENG#语言模型评估#事实评估#规则归因#情境依赖性#Medicaid#开源Python包#规则支配领域
分享:

相关推荐