非生成模型JEV能否胜任临床试验标准评估？

引言：临床试验预筛的痛点

临床试验预筛是一个高风险、高成本的环节。研究人员需要从海量患者记录中判断个体是否符合入组标准，同时还要区分「条件不满足」和「证据不足」这两种截然不同的情况。传统上，这一过程依赖人工审核，效率低且容易遗漏信息。近年来，大语言模型（LLM）被引入这一场景，但其生成式特性可能带来幻觉和不稳定性，尤其是在需要严格隐私保护的临床环境中。

一项新研究对比了非生成式决策模型 JEV 与 schema 约束的 Qwen Flash 在临床试验标准评估任务上的表现。JEV 直接返回预设选项的概率，而非生成自由文本，这使其在结构化决策任务中具有天然优势。研究结果在多个数据集上呈现分化，但总体揭示了非生成模型在召回「信息不足」条件上的显著优势。

研究设计：ZDR 下的严格对比

数据与任务

研究从 TrialGPT 以及基于 MIMIC-III 和 MIMIC-IV 构建的问答数据集中抽取了 2,048 对测试患者-条件对。每个样本包含患者记录、标准问题以及预定义的答案选项。模型需要针对每个条件给出判断：满足、不满足或信息不足。所有评估均在严格的 零数据保留（ZDR） 政策下进行，以确保临床数据隐私。

零数据保留（ZDR） 是一种严格的数据隐私保护政策，要求服务提供商在处理完请求后立即删除所有用户数据，不存储、不记录、不用于模型训练或任何二次用途。在临床环境中，ZDR 尤为关键，因为患者记录包含高度敏感的个人健康信息，受 HIPAA、GDPR 等法规约束。采用 ZDR 意味着模型推理必须在无状态、无日志的管道中完成，这通常对延迟和成本提出额外要求，也限制了需要持久上下文或缓存优化的方案。本研究在 ZDR 下评估模型，确保了结论在真实隐私合规场景中的可迁移性。

对比模型

• JEV：非生成式决策模型，直接输出原生选项的概率分布。
• Qwen Flash：受 schema 约束的生成式模型，答案被限制在预定义选项内。

两种模型分别以单条和批量模式评估条件，批量模式下共享同一患者上下文。性能以参考标签为基准，采用宏平均 F1 分数（macro-F1）衡量。

schema 约束生成 指在调用生成式模型时，通过结构化输出规范（如 JSON Schema 或函数调用接口）强制模型只能从预定义枚举值中选择答案，而非自由生成文本。这种方式将生成式模型的输出空间压缩到有限选项集，显著降低幻觉风险并提升答案可解析性。然而，约束仅作用于输出格式，模型内部仍以自回归方式逐 token 生成，可能因概率分布偏移而在选项间犹豫，尤其当证据模糊时倾向于“强行选择”而非承认信息不足。这与非生成式模型直接输出原生选项概率的机制形成本质差异。

核心发现：JEV 在信息不足场景优势明显

批量模式下的性能对比

在批量模式下，JEV 与 Qwen 在 TrialGPT 和 MIMIC-IV 上的宏 F1 分数相近：

数据集	JEV macro-F1	Qwen macro-F1
TrialGPT	0.652	0.660
MIMIC-IV	0.807	0.814
MIMIC-III	0.768	0.534

在 MIMIC-III 上，JEV 大幅领先 Qwen（Δ = +0.234，95% CI: 0.187-0.281）。这一优势主要源于 JEV 对「信息不足」条件的召回率显著更高：56.3% vs. 9.9%。这意味着 JEV 更擅长识别出那些无法从现有记录中判断是否满足的条件，从而提示人工复核，避免错误排除。

宏平均 F1（macro-F1） 是先对每个类别分别计算精确率和召回率的调和平均（F1），再对所有类别取算术平均的指标。与微平均不同，宏平均赋予每个类别同等权重，因此对少数类（如“信息不足”）的召回表现极为敏感。在临床试验预筛中，“信息不足”往往占比较低但临床意义重大——漏判会导致患者被错误排除。Qwen 在 MIMIC-III 上宏 F1 骤降，正是因为其几乎不预测“信息不足”类（召回仅 9.9%），导致该类的 F1 接近零，拉低整体均值。理解这一指标特性，才能正确解读 JEV 优势的来源。

延迟与成本

在所有三个数据集上，JEV 的观测中位任务延迟更低（1.18-1.40 秒 vs. 2.80-8.90 秒），且每条件估算成本降低 53%-74%。对于需要处理大量患者-条件对的大规模预筛场景，这一优势具有实际意义。

解读：JEV 的定位与局限

作为初步评估组件

研究将 JEV 定位为「初步评估组件」：它提供标准级别的判断，并标记潜在的信息缺口供人工审查。非生成式特性使其输出稳定、可解释，且不产生幻觉文本，这在临床决策支持中尤为重要。

错误仍存，需人工验证

尽管 JEV 在召回信息不足条件上表现突出，但研究也观察到其在解释临床证据时存在错误。作者强调，在将 JEV 的输出用于资格决策之前，必须对照患者记录进行验证。这提醒我们，任何自动化工具在临床场景中都应作为辅助而非替代。

结论：非生成模型的价值与边界

这项研究为临床试验预筛提供了一种新思路：非生成式决策模型在结构化选项任务中，能够以更低成本、更低延迟实现与生成式模型相当甚至更好的性能，尤其是在识别信息不足条件方面。然而，其错误模式也表明，临床证据解释仍需谨慎。未来，将 JEV 这类模型与人工复核流程结合，或许能在效率与安全之间取得平衡。

对于关注 AI 在医疗领域落地的从业者，这一对比也提供了一个重要视角：并非所有任务都需要生成式大模型，针对特定决策场景设计的非生成模型可能在可靠性、成本和速度上更具优势。