[控场AI]
· 5 分钟阅读· 2,557 字

决策模型能提取癌症病理报告吗?准确率与失效模式评估

决策模型能提取癌症病理报告吗?准确率与失效模式评估

决策模型在病理报告提取中准确率追平同量级生成式模型且快四倍,但局部校准与复杂字段仍受限。

研究在1,113份口腔癌病理报告上系统评估了两款开源决策模型(Nimble 9B、Tev1 4B)与两款生成式模型(本地Qwen3.5 9B、云端GLM-5.3-flash)在25个字段提取任务上的表现。Tev1平均字段准确率0.917,与本地Qwen3.5持平但速度快约四倍;Nimble为0.862,云端GLM-5.3-flash达0.986。决策模型在简单二分字段上不逊于云端模型,但在分箱测量值、正确答案未被报告的字段及复杂决策上表现较弱。概率整体校准良好,却无法在单字段内部标记系统性错误。将概率低于0.94的回答转交云端模型可使Tev1准确率升至0.982,升级比例38%,构成可量化的本地-云端协同方案。

决策模型是一类新型语言模型:它不生成自由文本,而是从固定选项列表中为每个问题选择一个答案,并为每个选项返回概率。这类模型此前尚未在临床文本上接受系统评估。一项针对口腔癌病理报告的研究填补了这一空白,比较了两款开源决策模型与两款生成式模型在结构化字段提取任务上的表现。

决策模型评估研究来源截图

研究设计与对比对象

研究从单一中心选取了1,113份口腔癌病理报告,要求模型提取25个字段,并与前瞻性维护的临床数据库进行比对。参与评估的模型包括:

  • 决策模型:Nimble 9B 与 Tev1 4B,均为开放权重
  • 生成式模型:Qwen3.5 9B(本地运行)与 GLM-5.3-flash(云端API)

这一设计的特别之处在于,它没有停留在"哪个模型更准"的层面,而是把准确率、速度、概率校准和失效模式放在同一个框架下考察。对临床落地而言,后两者往往比单纯的准确率更关键。

决策模型(decision model) 与生成式语言模型的根本差别在于输出空间:生成式模型在词表上逐步采样、自由生成文本,而决策模型针对给定问题在固定候选答案集合上直接打分并归一化为概率分布,相当于把“抽取”转化为“受限分类”。这种设计带来两个直接后果:一是输出天然结构化、可直接映射到数据库字段,省去解析与后处理;二是每个答案都附带概率,便于设定阈值做人工复核或分流。代价是灵活性受限——当正确答案不在候选项中,或需要表达“报告未提及”这类元信息时,模型缺少自由生成的回旋余地,这也正是本研究中决策模型在缺失值字段上表现较弱的深层原因。

准确率与速度:决策模型的真实水平

Tev1 的平均字段准确率达到 0.917(95% CI 0.913–0.920),与本地运行的 Qwen3.5 9B(0.918,p = 0.26)在统计上没有差异,但速度快了约四倍——每份报告15秒对61秒。Nimble 的准确率为 0.862,而云端 GLM-5.3-flash 达到 0.986。

这组数字揭示了一个容易被忽略的事实:决策模型在准确率上可以追平同量级的生成式模型,且本地部署带来明显的速度优势。但如果以云端大模型为上限参照,开源决策模型仍有差距。

说个细节,两款决策模型在简单的二分类型字段上与 GLM-5.3-flash 表现相当。这说明它们的短板并不在"做判断"本身,而在特定类型的任务上。

失效模式:弱在哪里

研究明确指出了决策模型表现不佳的三类场景:

  1. 被分箱为类别的测量值——把连续数值映射到离散区间时容易出错
  2. 正确答案未被报告的字段——报告中缺失信息时,模型难以正确表达"未提及"
  3. 部分复杂决策,例如切缘是否受累

其中最有价值的发现是关于 Nimble 的诊断。研究者发现,Nimble 表现较差的主要原因来自"一次请求问25个问题"这一配置:当改为每次请求只问两个问题时,其准确率有所提升。这提示决策模型对单次请求的复杂度敏感,配置方式本身就是性能变量。

分箱(binning) 指把连续的测量值(如肿瘤大小、浸润深度)按预设区间映射为离散类别。对决策模型而言,这一步尤其容易出错:模型必须在候选项中选择一个区间,而判断边界附近的数值究竟落入哪一档,需要精确的数值比较能力,这恰是语言模型式架构的弱项;同时分箱规则本身若未在候选项中清晰表达,模型也无从推断区间边界。相比之下,生成式模型可以直接抄录原始数值,把分箱交给下游程序处理,从而绕开这一误差来源。这提示在结构化提取流程中,连续变量宜保留原始值、由规则引擎完成离散化,而非交由模型直接输出类别。

概率校准:整体可信,局部失灵

决策模型的一大卖点是返回每个选项的概率。研究发现,按字段汇总后概率校准良好,期望校准误差分别为 0.022 和 0.026。但问题在于,这些概率无法在单个字段内部标记出系统性错误——也就是说,模型给某个字段的回答打了高概率,并不代表这个字段的答案可靠。

这一局限直接影响概率的实用价值。对于需要人工复核的场景,如果高置信度不能对应高准确率,基于阈值的分流策略就会失效。

期望校准误差(Expected Calibration Error, ECE) 是衡量模型输出概率可信度的常用指标:它把预测概率划分为若干区间(分箱),比较每个区间内平均预测概率与真实准确率之间的差距,再按样本量加权求和。ECE 越低,说明模型“说 90% 有把握时,实际大约就有 90% 是对的”。0.022 与 0.026 属于较低水平,意味着整体上概率是可信的。但 ECE 是聚合指标,它只反映总体平均偏差,天然无法揭示“某个具体字段的高概率是否可靠”这类局部问题。因此在本研究中,整体校准良好与单字段内部无法标记系统性错误并不矛盾——前者是宏观统计性质,后者是微观可解释性的缺口,二者需要不同的评估手段(如按字段分层校准、置信度-准确率曲线)来分别刻画。

人机协同的可行路径

研究模拟了一种策略:将概率低于 0.94 的回答转交给 GLM-5.3-flash 处理。结果 Tev1 的准确率提升到 0.982,同时有 38% 的回答被升级处理。

这一结果的意义在于它给出了一个可量化的折中方案:用本地决策模型快速处理大部分字段,把不确定的部分交给更强的云端模型。38% 的升级比例意味着大部分工作仍可在本地完成,速度优势得以保留,而准确率接近云端模型的水平。

对临床落地的启示

研究给出的建议相当务实:决策模型能够快速、在本地硬件上提取病理报告中明确陈述的发现,并返回有用的概率。但前提是必须在实际使用的配置下进行验证,把应用范围限制在模型可靠的字段上,并对数值型信息结合其他方法处理。

对医疗AI从业者而言,这项研究传递的核心信息是:模型选型不能只看平均准确率。字段级可靠性、请求配置、概率校准的可解释范围,共同决定了一个模型能否进入临床工作流。决策模型不是生成式模型的简单替代品,而是一种需要按场景裁剪的工具。

分享:

相关推荐