STRATA基准：让AI临床推理不再「张口就来」

语言模型被问到「产品召回后销量是否下降」「接种疫苗后某种副作用是否更常见」时，往往能给出读起来像结论的流畅句子——但背后没有任何统计检验。这类关于事件如何随时间展开的断言遍布网络，每一个都是一个时间假设，只有对合适的记录做显著性检验才能定论。

问题在于，验证者需要指定零假设、选择检验方法、决定哪些记录与假设相关，其中任何一步都可能出错，而最终结论仍可能碰巧正确。现有的语言模型数据分析基准只评判结论，且把相关数据直接递给模型。在健康领域，错误结论代价高昂。为此，研究者提出了 STRATA——一个对通往结论的每一步决策都进行评分的基准，并配套提出 ART 范式，试图弥合「结论正确但证据错误」的鸿沟。

只评结论的基准，掩盖了真正的问题

当前主流的数据分析评测方式，是把整理好的数据交给模型，然后只检查它给出的最终结论对不对。这种设计忽略了一个关键事实：在真实场景中，模型首先要自己判断哪些记录与假设相关，再选择合适的统计检验，最后才能得出结论。

研究团队在健康领域构建了 STRATA 基准，包含 8,735 条关于疫苗不良事件报告临床时间线的假设。每条假设都配有金标准计划、证据集、p 值和结论，这些标注在公开的编码手册下生成，并由确定性 oracle 复现。这意味着评分不再只看「答对没有」，而是逐项检查零假设设定、检验选择、证据筛选和最终判断。

这种细粒度评分揭示了一个被准确率掩盖的现象：系统主要在「选择哪些记录算数」这一步失败。换句话说，模型可能给出正确结论，但支撑结论的证据集是错的——研究者称之为「结论-证据鸿沟」。

零假设与显著性检验：在统计推断中，零假设（null hypothesis）通常表述为「没有效应」或「没有差异」，例如「召回前后销量无变化」。显著性检验计算的是：假如零假设成立，观察到当前数据（或更极端数据）的概率，即 p 值。p 值小于预设阈值（常为 0.05）时，研究者拒绝零假设，认为效应显著。关键点在于，p 值本身不衡量效应大小，也不证明因果关系；它只回答「数据与零假设的兼容程度」。因此，同一条数据在不同零假设、不同检验方法下可能得出相反结论。这正是 STRATA 要求逐项检查零假设设定与检验选择的原因——结论正确可能只是碰巧，而检验路径错误意味着结论不可复现。

ART 范式：把每一步决策变成可检查的输出

针对上述问题，研究者提出 ART（articulate, retrieve, test）三阶段范式：先明确表述假设与检验计划，再检索相关记录，最后执行检验。每个阶段的决策都作为可检查的输出暴露出来，而不是藏在模型的内部推理里。

在五种模型配置上的实验显示，ART 能弥合大部分结论-证据鸿沟。一个 31B 的开源模型在相同范式下，与前沿模型的差距缩小到 0.01 以内；而前沿模型在获得编码手册后也能成功完成任务。这提示我们：模型并非缺乏统计能力，而是缺乏把假设、证据和检验对齐的显式流程。

结论-证据鸿沟（conclusion-evidence gap）：指模型给出的最终判断与支撑该判断的证据集之间不一致的现象。具体表现为：模型可能正确回答「销量是否下降」，但它所依据的记录筛选、时间窗口或检验方法并不支持该结论，甚至与结论矛盾。这种鸿沟在只评结论的基准中完全不可见，因为准确率只比较最终标签。在健康领域，鸿沟尤其危险：一个正确的结论若建立在错误的证据上，换一个数据集或人群就可能失效，且无法追溯错误来源。STRATA 通过逐项评分使鸿沟可量化，ART 则通过强制显式输出假设、证据和检验来压缩鸿沟的生存空间。

对 AI 医疗应用意味着什么

STRATA 的价值不止于一个基准。它把「时间假设的显著性检验」拆解为可审计的步骤，这对任何需要在真实数据上做因果或时间推断的 AI 系统都有借鉴意义。在临床决策支持、药物警戒、公共卫生监测等场景中，一个结论如果无法追溯到具体的证据集和检验方法，就很难被信任。

ART 范式则提供了一条工程路径：与其期待模型一次性给出正确答案，不如让它在每个环节留下可验证的痕迹。当模型被要求先 articulating 假设、再 retrieve 证据、最后 test 时，错误更容易在流程中被发现和纠正。

研究也留下开放问题：编码手册的获取是否应该成为模型能力的一部分？开源模型与前沿模型的差距在更复杂假设上是否依然可弥合？这些都有待后续工作回答。但至少，STRATA 把「结论对不对」的单一评判，推进到了「推理过程对不对」的层面。

可审计性（auditability）：在临床决策支持、药物警戒等高风险场景中，可审计性要求系统的每一个判断都能追溯到具体的输入、方法和中间决策。与「黑箱准确率」不同，可审计系统允许审阅者检查零假设是否合理、证据集是否完整、检验方法是否适用，并在发现错误时定位到具体环节。STRATA 将时间假设的验证拆解为可审计步骤，本质上是在为 AI 系统建立「决策链」：每个环节的输出都是下一环节的输入，且可独立复核。这对于监管审批、事后归因和持续监测都至关重要——一个无法审计的结论，即使正确，也难以在医疗实践中被信任和采纳。