当LLM解释正确却给出错误决策：一次商业证据判断基准测试

大语言模型能够准确解释一条政策"只适用于欧洲"，但在最终返回的标签中却说它同样适用于北美。这种"解释正确、决策错误"的现象，正是本次 Kaggle 基准测试挑战所暴露的核心问题。对于依赖模型输出标签来驱动工作流的系统而言，哪怕解释写得滴水不漏，一个错误的决策字段也足以让下游流程走偏。

测试设计：让模型判断证据能否支撑结论

这项名为 Business Evidence Judgment v4 的基准，考察的是模型能否判断提供的商业记录对某条"主张"（claim）是支持、矛盾还是无法确定。测试覆盖了六类业务场景：供应商准入、客户交付、系统迁移、接口兼容性、配置发布和数据管道。所有记录都是原创的、AI 辅助生成的虚构内容，而非真实生产数据。

每个业务家族包含六个"场景—主张"探针，共 36 条主张。这 36 条主张在三种不同的来源条件下重复出现，每个模型产生 108 条判断（18 次请求）：

• S0：约 2,500 词的原始素材；
• S1：加入行政背景信息，扩展到约 9,800–9,900 词；
• S2：加入过时或范围相似的干扰记录，词数与 S1 相同。

由于内容长度和证据位置同时变化，分数差异无法单独归因于额外的 token 数量。模型的答案只能是 supported、contradicted 或 unknown 三者之一——这里的关键在于，"缺少批准确认"并不等于"批准被拒绝"，模型需要区分证据"没有建立"与证据"反向建立"。

评分协议 v4 的严格之处

v4 协议对 108 个条目独立计分。缺失、重复、无效或错误的答案只会扣掉该条目自身的分数，其他可用答案仍保留得分。解析器只接受规范的 decisions 对象或根数组，不会修复 ID、标签，也不会推断位置匹配。一旦整个批次的 JSON 解析失败，该批六个条目全部无法评分。

值得一提的是协议的演进过程。早期的探索性 v3 版本会在模式校验失败后将整个批次清零，审计发现被拒批次里其实藏着 48 个可识别的正确标签。作者据此重新设计了 ID、容器和计分规则，但保留了原始的业务记录、主张、标签和顺序。作者明确说明：这是一次事后重构，不是受控的 ID 长度实验，早期分数不与现有结果合并。

S0/S1/S2 三种条件本质上是一种上下文压力测试框架。S0 提供精简的核心素材，考察模型在信息量充足但无干扰时的基准判断能力；S1 通过注入行政背景（组织结构、流程说明等）将文本扩展近四倍，测试模型能否在大量无关信息中定位关键证据；S2 则进一步引入"干扰记录"——这些记录在主题或时间上与目标记录相似，但已过期或范围不符，专门用于触发模型的混淆或错误归因。这种设计模拟了真实企业环境中常见的信息冗余场景：系统里往往同时存在当前版本和历史版本的文件，模型需要识别哪条记录才是真正相关的证据。三种条件对比可以揭示模型的"信噪比抵抗能力"，而非仅仅测量它在干净输入下的理解准确率。

参测模型：混合托管与开源权重

六个完成测试的模型分别是 Claude Haiku 4.5、gpt-oss-20b、Gemini 2.5 Flash、GPT-5.4 mini、Gemma 4 26B 和 Qwen Next。这个阵容刻意混合了托管模型与开源权重模型，针对成本敏感的部署场景。

作者特别提醒不要被参数名称误导：这些稀疏 MoE 模型的"总参数"和"激活参数"差异巨大。官方模型卡显示，Gemma 4 26B A4B 为 25.2B 总参数 / 3.8B 激活，Qwen3-Next-80B-A3B 为 80B / 3B，gpt-oss-20b 为 20.9B / 3.6B。而"mini""Haiku"这类名称根本不披露参数规模。

测试采用冻结请求：系统消息加用户消息，输出上限 8,192 token，不启用流式输出。温度、种子和推理强度均未设置，使用提供商默认值。作者强调，相同的提示和输出上限并不等于相同的推理预算或算力。

MoE（Mixture of Experts，混合专家）架构是理解"总参数"与"激活参数"差异的关键。传统密集模型在推理时会激活全部参数；MoE 模型则将参数划分为多个"专家"子网络，每次前向传播只路由激活其中一小部分。以 Qwen3-Next-80B-A3B 为例，80B 总参数中每次推理实际激活的仅约 3B，这意味着其推理计算量与一个 3B 的密集模型相当，但理论上拥有更大的知识容量。这一架构使得 MoE 模型在推理成本和表达能力之间取得独特平衡，但也带来了参数规模标注的歧义问题——单纯比较"参数量"而不区分激活比例，会严重误导对模型能力和成本的预判。本次测试中 gpt-oss-20b 的高性价比表现，部分原因正在于其较低的激活参数量（3.6B）带来的低推理成本。

测试结果：成本与可靠性的分化

以下是 Kaggle Task 平台版本 2 上完成的官方运行结果，采用 v4 计分协议：

模型	正确数 /108	得分	S0/S1/S2（各/36）	运行费用 USD
Claude Haiku 4.5	98	90.74%	32 / 32 / 34	$0.363214
gpt-oss-20b	94	87.04%	31 / 32 / 31	$0.022485
Gemini 2.5 Flash	92	85.19%	33 / 26 / 33	$0.236623
GPT-5.4 mini	91	84.26%	33 / 29 / 29	$0.225153
Gemma 4 26B	80	74.07%	22 / 28 / 30	$0.056895
Qwen Next	6	5.56%	0 / 0 / 6	$0.062775

一个突出亮点是 gpt-oss-20b：以本次最低的运行费用（约 2.2 美分）拿到 94/108 的成绩。作者谨慎地指出，这是针对该工作负载的有用证据，而非普适的成本或能力优势。

至于 Gemini 与 GPT 之间仅一个条目的差距，作者认为不足以确立稳定排名——这个小规模任务覆盖有限，还无法可靠区分得分接近的模型。真正有价值的是"同一主张上的配对错误"以及更多独立案例家族，而非把这些百分比当作稳健的排行榜。

Qwen Next 的格式崩溃

Qwen Next 的惨淡成绩源于格式可靠性问题而非理解能力。它有 17 次 invalid_json 响应，只有 6/108 个条目可评分。本地检查发现，它输出了六个逗号分隔的对象，却没有外层数组括号。两个代表性响应报告了 COMPLETE/stop 状态和 632/742 的完成 token，并未触发输出长度限制。作者没有修复它们，也没有推算修复后的分数。这个格式瓶颈直接堵死了对其证据理解能力的干净评估。

整批合规性方面：GPT 为 18/18，Haiku、gpt-oss、Gemini 各 17/18，Gemma 15/18，Qwen 仅 1/18。但作者反复强调——这些指标都不衡量解释的真实性。

核心发现：GPT-5.4 mini 的"解释对、决策错"

GPT-5.4 mini 呈现了另一种失败模式，也是本文标题的直接来源。独立重新评分 18 个导出输出复现了 91/108，预测覆盖率、解释字段合规性和整批合规性全部完整。它的 17 个错误全是标签分歧，涉及十条独特主张。

一个具体案例来自系统迁移场景、S2 条件、Q2 条目：

主张："CAB-618 同时将北美账本窗口移至 11 月 13 日。"

记录 ELM-22 写道：

"本记录不改变北美迁移窗口。"

参考标签是 contradicted。GPT 却返回了 supported，但它的解释写道：

"CAB-618 是 ELM-22 中命名的记录，它只移动欧洲账本生产窗口；北美窗口明确保持不变。"

解释完整保留了地区限制，说明模型并非没读懂原文。然而决策字段依然是错的。一个用这个标签去更新迁移计划的系统，可能会做出与旁边解释完全相反的动作。

另一个失败涉及有意义的业务标识符。P1-S0/Q2 询问全部 480 个 M17 执行器是否符合装配资格。记录确立了完整签收、签署放行和必需的重新贴标。GPT 却返回 unknown，并解释说 M18 缺少签收和质量处置证据——它回答的是另一个批次，并在三种条件下重复了这一张冠李戴的错误。

这两个案例指向同一个结论：正确的格式和看似合理的文字，不足以作为结构化决策的检查标准。作者建议下一步测量应单独检验主张、业务实体、证据、解释和最终标签之间是否一致，与 JSON 有效性分开评估。

这种"解释与决策解耦"的失败模式，在 LLM 系统设计领域被称为内部一致性问题（internal consistency failure）。大语言模型生成文本的底层机制是逐 token 预测，解释字段和决策字段在生成时并不存在强制的逻辑绑定——模型并不像人类那样"先推理、后写结论"，而是按顺序生成所有文本。这意味着即便解释段落通过自回归过程"偶然"产生了正确的推理链，后续生成决策标签时模型可能已处于不同的注意力分布状态，或受到提示模板、训练偏置的影响而输出不一致的标签。这一现象也解释了为什么仅依靠"Chain-of-Thought（思维链）"提示并不能保证最终答案正确——思维链可以提升推理质量，但无法在架构层面强制解释与决策之间的逻辑一致性。针对这一问题，工程上的常见缓解手段包括：将决策标签单独提取并与解释做二次校验、使用结构化输出约束（如 JSON Schema 强制字段联动），或设计验证步骤让模型对自己的决策进行反向解释审查。

诚实的局限性声明

这项基准的可信度，很大程度上来自作者对局限性的坦诚。六个合成家族是一个小规模、有目的的样本。108 条判断重复了 36 条主张，并非独立案例。标签分布也不均衡：45 条 supported、45 条 contradicted、18 条 unknown——一个一律回答 supported 并带有效 ID 的策略就能拿到 41.67%。

此外，每个模型只有一次选定运行，无法建立采样变异性；语义审查只覆盖了选定样例且是 AI 辅助的，并非人类专家验证。作者明确表示，这个基准"并不能确立广泛的诚实性或通用的商业能力"。

对工程团队而言，这项测试最实际的启示是：当你把 LLM 嵌入自动化决策流程时，不能只校验输出的 JSON 是否合法、解释是否通顺。解释正确与决策正确是两件独立的事，必须有机制去交叉验证标签与证据、实体、解释的内部一致性，否则下游系统可能在"看起来很专业"的输出中默默走向错误。