Gemini决策闭合基准实测：285次运行99.3%通过率解读

一个被忽视的评测维度：决策闭合错误

大多数LLM评测关注的是模型能否给出正确答案，但一位研究者在Zenodo上发布了一份颇具新意的基准测试——它测量的不是"答对了什么"，而是模型能否正确地"关闭"一个决策。

所谓"决策闭合"（Decision Closure），指的是当证据、适用性、身份、冲突解决、转移规则、上下文或记录状态发生变化时，LLM是否还能保留合法关闭一个决策所需要的全部条件。换句话说，这套基准考察的是模型在复杂条件流转下的逻辑一致性与状态管理能力，而非简单的知识问答。

这一概念源自形式化验证和状态机理论。在传统软件工程中，一个有限状态机（FSM）必须确保每个状态转移都是完整且一致的——即从任意合法状态出发，经过定义的转移条件后，系统必须到达一个确定的合法终态。这种"闭合性"保证了系统不会停留在未定义的中间状态。将这一概念引入LLM评测，意味着考察模型在面对多个相互依赖的条件变化时，能否正确地追踪所有前置条件并得出逻辑一致的最终判断，而非仅仅依赖模式匹配给出表面合理的答案。

从更广泛的理论视角来看，决策闭合的概念不仅源自有限状态机理论，还与数学中的闭包（Closure）概念密切相关。在抽象代数中，闭包指的是一个集合在某种运算下的封闭性——即对集合中的元素施加运算后，结果仍属于该集合。将这一思想映射到决策系统中，意味着在任何合法的条件变换序列下，系统的决策状态都应落在预定义的合法状态空间内，而非漂移到未定义的"悬空"状态。这一概念在航空航天、核电站控制系统和金融交易清算系统中有着数十年的工程实践积累，这些领域对"决策是否被正确关闭"有极其严格的形式化验证要求。在航空电子系统中，DO-178C标准明确要求每个软件决策路径都必须具备确定性的终止条件；核电站仪控系统遵循IEC 61513标准，要求所有安全相关的决策逻辑都必须通过形式化方法验证其完备性；金融领域的CLS（Continuous Linked Settlement）系统在处理跨境外汇清算时，每笔交易的决策闭合必须在严格的时间窗口内完成，否则整笔交易回滚。当我们将这种工业级的严格性引入LLM评测，就触及了一个关键问题：大语言模型是否具备类似于形式化系统的状态追踪可靠性？

从计算理论角度看，这个问题触及了Transformer架构的固有限制。Transformer本质上是一种有限精度的计算模型，虽然理论上可以模拟图灵机（在足够的层数和精度下），但在状态追踪方面存在结构性约束。研究表明，标准Transformer在处理需要精确计数、栈操作或复杂状态依赖的任务时表现不稳定，这与其注意力机制的"软寻址"特性有关——它通过概率性的注意力权重而非确定性的地址访问来检索信息。这一理论限制解释了为什么即使是最先进的LLM，在需要精确状态追踪的任务上也不能保证100%的可靠性，也为CFC基准的设计动机提供了理论基础。

这份被作者命名为CFC（Conditional Closure）的基准，历史序列涵盖V1至V100，最终发布的可复现测试集包含95个变体、共计285次重复运行。V1至V100的版本序列设计暗示了一种渐进式条件复杂度递增的测试策略，这种设计在软件可靠性测试中被称为"压力阶梯"（Stress Ladder），通过逐步增加系统负荷来定位性能拐点。

核心数据：283通过，2部分通过，0语义失败

在285次实测运行中，Gemini的表现结果如下：

• 283次语义通过（semantic PASS）
• 2次语义部分通过（semantic PARTIAL）
• 0次可复现的语义失败（recovered semantic FAIL）

据此计算出的严格语义通过率为 99.3%。其中表现最强的完整保留区块V78–V100，取得了69/69的满分语义通过。

从统计学角度分析，99.3%的通过率（283/285）对应的95%置信区间约为97.5%-99.9%（使用Wilson区间估计）。这意味着即使考虑抽样不确定性，我们仍可合理推断模型在该任务上的真实通过率很可能在97%以上。然而，2次部分通过的案例虽然数量极少，但在安全关键应用中，即便是0.7%的非完全通过率也可能不可接受——航空航天领域通常要求10^-9级别的故障率。这一对比凸显了学术评测标准与工业部署标准之间的巨大鸿沟。

Gemini系列模型（尤其是1.5 Pro及后续版本）以其超长上下文窗口著称，最高支持100万甚至1000万token的上下文长度。这一架构特性使其在需要长程状态追踪的任务中具有天然优势——模型无需在有限窗口内压缩或丢弃历史信息，而是可以直接"看到"所有相关的前置条件和状态变化。这可能部分解释了Gemini在CFC基准上的出色表现，但同时也意味着该成绩是否能推广到上下文窗口更短的模型上，仍需后续对比实验来验证。

值得注意的是，V78-V100区间取得满分可能意味着后期版本并非简单地"更难"，而是可能代表了测试设计的成熟和稳定——早期版本（如V1-V4的不可恢复和V6的不稳定）更可能反映的是基准本身的设计迭代而非模型能力的变化。

这个数字乍看惊人，但作者本人非常克制地给出了重要限定。

数据透明度：作者坦承的不完美之处

值得称道的是，这位研究者没有刻意美化数据档案。他明确指出：

• V1–V4 无法恢复，已被排除
• V6 是早期不稳定的基线，无法精确聚合

换句话说，99.3%这个数字是在"可重建、可评分"的子集上得出的，而非全部100个版本。这种对数据缺口的坦诚，在充斥着营销式跑分的AI评测领域反而显得难得。

从统计学角度来看，285次运行、95个变体的样本量在AI评测领域属于中等规模。作为对比，MMLU包含约14,000道题，HumanEval包含164个编程问题，而GSM8K包含约1,300道数学题。不过，CFC基准的设计哲学与这些大规模基准不同——它不追求广覆盖，而是通过同一变体的多次重复运行来评估模型输出的稳定性和可复现性。每个变体运行3次（285÷95=3），这使得研究者能够区分随机波动和系统性缺陷，这在单次运行的传统评测中是无法实现的。这种设计在可靠性工程中被称为"重复性测试"（Repeatability Testing），其价值在于揭示模型行为的方差特征，而非仅仅报告一个点估计。

最关键的方法论洞见：语义正确≠格式合规

作者提到，整个实验中他认为最有价值的发现，是把语义正确性与输出格式合规性分离开来评分。

这是一个常被评测者混淆、却极其重要的区分。他发现：

Gemini 常常在语义上是正确的，即便它违反了所要求的序列化格式。

这意味着，如果一份评测把"没按JSON格式输出"直接判为失败，就会严重低估模型的实际推理能力。模型的"错"，很多时候不是想错了，而是没按你要求的方式把答案打包出来。

为什么语义与格式分离评分如此重要

在实际工程应用中，格式问题往往可以通过后处理、约束解码或重试机制来缓解，而语义错误才是难以修复的根本缺陷。约束解码（Constrained Decoding）是一种在LLM推理阶段强制输出符合特定语法或模式的技术，典型实现包括OpenAI的JSON Mode、Outlines库的正则表达式引导生成，以及LMQL等声明式查询语言。这些工具通过在每一步token采样时屏蔽不合法的token选项，确保输出严格遵循预定义的schema。

更具体地说，当前约束解码技术生态已经相当成熟。除了上述方案外，还有Microsoft开发的Guidance库（通过模板化控制实现生成引导）、SGLang（通过编译优化实现高效结构化生成）、以及Instructor（通过Pydantic模型定义输出schema的Python库）等。这些工具的共同原理是在自回归生成的每一步，根据当前已生成内容和目标schema，计算下一个token的合法集合，并将不合法token的logit设为负无穷。这种方法在保证格式合规的同时，理论上不会降低语义质量——因为它只是从合法token空间中选择概率最高的选项，而非改变模型的语义理解。这意味着在生产环境中，格式合规性在很大程度上是一个已解决的工程问题，开发者可以通过工具链来保障输出结构，而语义正确性则完全依赖模型自身的推理能力，无法通过外部约束来弥补。

这种评分分离的思想在软件测试领域有着成熟的先例——功能测试与接口测试的分离。在API测试中，一个端点可能返回了正确的业务数据但使用了错误的HTTP状态码，这属于接口层面的缺陷而非业务逻辑错误。类似地，在自然语言生成评测中，BLEU、ROUGE等指标长期因混淆表面形式与语义正确性而备受批评，这推动了BERTScore等语义级别评测指标的诞生。CFC基准的这一设计选择，本质上是在LLM结构化输出评测中践行了同样的原则：将"模型是否理解了问题并得出正确结论"与"模型是否按照指定格式呈现了结论"视为两个独立的评测维度。

将语义与格式混为一谈，会导致我们对模型能力的判断出现系统性偏差——要么高估（把格式糊弄过去当成推理正确），要么低估（把格式违规当成推理失败）。

这份基准通过明确拆分这两个维度，为后续的跨模型对比提供了更干净的评分口径。

冻结基准设计：为跨模型公平对比铺路

作者表示，这第一份基准将被"冻结"（frozen），保持不变。下一步计划是在同一套冻结测试集上运行Claude和Grok，并且要在引入任何CFC规则改动之前完成，以保证跨模型对比的公平性。

这是一个值得肯定的实验设计原则：先固定测试标准，再横向比较，避免"边测边改规则"带来的数据污染。冻结基准（Frozen Benchmark）的设计理念针对的是AI评测领域中日益严重的数据污染（Data Contamination）问题。当评测集被公开后，后续训练的模型可能在预训练或微调阶段接触到这些数据，导致评测分数虚高而无法反映真实泛化能力。MMLU、HumanEval等知名基准都面临这一困境。此外，"边测边改"的做法会导致不同模型实际上在不同的测试条件下被评估，丧失可比性。冻结基准意味着在所有待测模型完成评测之前，测试集的题目、评分标准和运行条件完全锁定，任何修改都必须在新的版本号下进行，从而在方法论层面保障横向对比的有效性。

值得注意的是，冻结基准虽然解决了公平性问题，但也引入了另一个权衡：随着时间推移，冻结的测试集可能因为数据泄露（被纳入模型训练数据）而失去区分力。学术界对此的应对策略包括：使用私有holdout集（如LMSYS Chatbot Arena的ELO评分体系，通过实时人类偏好投票持续更新排名，避免固定题库被记忆）、定期创建新版本基准（如BIG-Bench Hard到BIG-Bench Extra Hard的演进），以及采用动态生成的测试用例（如LiveBench每月基于最新数据生成新题目）。CFC基准选择了"冻结当前版本+未来创建新版本"的折中策略，这在个人研究者的资源约束下是合理的选择。

只有测试集完全一致，Gemini、Claude、Grok三者之间的数字才具有可比性。

解读时应保持的审慎态度

作者反复强调的一点，也是读者最需要记住的：

99.3% 不是"CFC准确率"的普遍值，也不是Gemini的通用可靠性评分。它只是这个特定的、可复现的决策闭合基准上的分数。

这提醒我们，任何单一基准的高分都不应被过度解读。一个专门设计的边界测试集，其结果只能代表模型在该类特定失败模式上的表现，而无法外推到通用能力。

此外，这仍是一份探索性的、由个人研究者发布的基准，样本量（285次运行、95个变体）在统计意义上属于中等规模，尚未经过大规模同行评审。作者自己也在公开征求对方法论、评分策略以及边界测试类别设计的批评意见。

从更宏观的视角来看，这类聚焦于特定能力维度的评测（有时被称为"探针测试"或"诊断性评测"）在心理测量学和教育评估领域有着悠久的传统。与追求全面覆盖的综合性考试不同，诊断性评测的目标是精确识别特定的能力瓶颈或失败模式。这种方法论在临床医学中也有对应——医生不会仅凭一项全面体检来诊断特定疾病，而是使用针对性的检查手段来确认或排除特定假设。CFC基准正是以这种"诊断式"的思路来评估LLM的决策闭合能力。值得一提的是，这种方法论在认知科学研究中也被广泛应用——研究者通过精心设计的最小对（minimal pairs）来探测语言模型对特定语言现象的敏感性，而非通过大规模泛化测试来评估整体能力。

结语：小而扎实的评测更值得关注

在大模型评测日益"军备竞赛化"的当下，这类聚焦于特定失败模式、坦诚公开数据缺口、坚持冻结基准以保证公平对比的工作，反而更有参考价值。

它不追求一个能上头条的"综合能力排行榜"，而是回答一个具体而深刻的问题：当决策所依赖的条件发生变化时，模型能否守住逻辑闭合的边界？

对于任何构建需要严谨状态管理和决策一致性的LLM应用（如工作流引擎、合规审查、多轮推理系统）的开发者而言，这套方法论——尤其是语义与格式的分离评分——都值得借鉴。在生产级LLM应用中，状态管理是最容易引发系统性故障的环节之一。以工作流引擎为例，一个审批流程可能涉及多个并行条件分支（如预算审批、合规审查、技术评估），每个分支的完成状态都是最终决策的前置条件。LLM在处理此类任务时，需要在长上下文窗口中持续追踪哪些条件已满足、哪些尚未确认、哪些已因新信息而失效。这种能力与传统的知识问答完全不同——它要求的不是检索正确事实，而是在动态变化的条件网络中维持逻辑一致性。CFC基准正是为量化这种能力而设计的。

当前业界已经出现了一些尝试解决LLM状态管理问题的工程方案，包括LangGraph的有状态工作流图、Microsoft的AutoGen多智能体框架中的状态共享机制，以及各种基于外部数据库的"记忆增强"架构。这些方案本质上是通过外部化状态管理来弥补LLM自身状态追踪能力的不足。而CFC基准的价值在于：它帮助我们量化"LLM裸机状态追踪能力"的上限在哪里，从而为"多少状态管理需要外部化"这一工程决策提供数据依据。近期涌现的State Space Models（如Mamba架构）和混合注意力-循环架构试图通过引入显式的状态维护机制来弥补纯Transformer架构在长程状态追踪上的不足，这些新架构在CFC类任务上的表现将是未来值得关注的研究方向。

完整数据已发布于Zenodo（记录号22045494），欢迎更多研究者参与验证与批评。

核心要点