ABACUS框架：用程序引导冻结判断模型实现多步推理

判断模型（Judgment Models）擅长对有限候选结果进行语义评分，但如何将其局部决策组织成强大的多步推理？ABACUS框架给出了一种新思路：通过可复用程序组合冻结判断模型的决策，在保持模型参数不变的前提下大幅提升推理能力。

核心问题：判断模型的推理瓶颈

传统判断模型通常直接输出最终答案，跳过了中间推理步骤。在BIG-Bench Hard等复杂任务上，这种“一步到位”的方式准确率有限。ABACUS的出发点很直接：既然判断模型能可靠地回答局部语义问题，能否设计一套程序，把这些局部答案串起来，形成多步推理链？

框架的关键在于“冻结”：判断模型的参数全程不更新，所有推理能力来自外部程序的组合设计。这避免了微调成本，也让推理过程更可解释、可复用。

BIG-Bench Hard 是 BIG-Bench 基准中筛选出的 23 个高难度任务子集，涵盖多步算术、逻辑推理、因果判断、日期理解等类型，其特点是即便大型语言模型也显著低于人类平均表现，因此常被用作衡量多步推理能力的试金石。与常规问答基准不同，BBH 任务的正确答案往往依赖若干中间步骤的正确串联，单步直觉式回答容易出错，这正是判断模型"一步到位"策略暴露短板的场景。ABACUS 选择其中三个任务进行验证，目的是在推理链条较长、局部语义判断可分解的任务上检验程序化组合的增益。

框架设计：教师生成程序，判断模型执行

ABACUS采用生成式教师离线设计判断模式和组合程序，判断模型在线解决局部语义问题，保存的程序负责将决策组合成最终答案。研究探讨了人类与教师之间设计努力的三种分配方式，重点是通过共享界面进行构建。

具体实现上，团队用Kev实例化框架。教师模型负责规划推理步骤并生成程序代码，冻结的判断模型则作为“语义执行器”，对每个步骤的候选答案打分。这种分工让程序的可复用性成为可能——同一套程序可以迁移到新的输入上。

Kev 在此处指代一种基于判断模型的推理框架/接口，它允许通过自然语言或结构化指令调用冻结模型对候选答案进行打分，而不依赖模型直接生成完整回答。将 Kev 作为实例化载体，意味着 ABACUS 的程序并不需要模型具备代码生成或工具调用能力，程序本身承担控制流与组合逻辑，Kev 只负责在每一步给出局部语义评分。这种解耦使得同一套程序可以在不同输入间复用，也便于定位错误发生在哪一步判断上。理解 Kev 的角色，有助于把握"教师设计程序、判断模型执行"这一分工的边界：程序负责"怎么想"，模型负责"怎么判断"。

实验结果：准确率与效率双赢

在三个选定的BIG-Bench Hard任务上，九个独立构建的程序解决了150个开发输入的450次执行。部署研究冻结了三个经过开发集参考一致性精炼的程序，并在600个留出问题上评估。

结果相当亮眼：程序达到99.67%的宏平均准确率，而直接使用Kev仅为64.00%，仅输出最终答案的Qwen3.5-4B为68.80%。与Qwen无限制响应策略的99.07%观察准确率相比，ABACUS在保持相近水平的同时实现了8.43倍的在线加速——每题0.255秒对2.150秒。

这意味着，一个紧凑的判断模型配合精心设计的程序，可以在不增加参数的情况下逼近更大模型的推理表现，且速度优势明显。

宏平均准确率（macro-averaged accuracy） 是先分别计算每个任务的准确率、再对任务取算术平均的指标，与微平均（把所有样本混在一起算总准确率）不同，它赋予每个任务同等权重，避免样本量大的任务主导整体分数。在三个 BBH 任务的评估中，宏平均能更均衡地反映程序在不同推理类型上的表现，防止某一任务的高分掩盖另一任务的失败。这也是为什么报告中同时给出各任务的单独结果更为稳妥——宏平均 99.67% 说明三个任务整体接近饱和，但任务间的方差仍需结合逐任务数据判断。

启示与局限

ABACUS的价值在于展示了一条“程序+冻结模型”的推理增强路径。它降低了多步推理对模型规模的依赖，也为推理过程提供了可检查的中间结构。不过，当前实验集中在三个特定任务上，程序设计的通用性和跨任务迁移能力仍需进一步验证。此外，教师模型的离线设计成本，以及程序对任务分布的敏感性，都是实际部署时需要权衡的因素。

总体来看，这项研究为判断模型的应用打开了新空间：与其追求更大的模型，不如让程序成为推理的“外骨骼”。