[控场AI]
· 4 分钟阅读· 2,138 字

MedPhysBench:语言模型医疗物理计算与纠错新基准

MedPhysBench:语言模型医疗物理计算与纠错新基准

MedPhysBench 评测 12 个语言模型在临床级医学物理计算与纠错中的可靠性,揭示“会算不等于会查”。

MedPhysBench 是面向医学物理高风险计算的基准,覆盖放射治疗、诊断成像、核医学与辐射防护,最高难度达 TG-51 校准工作表级别。基准通过十个种子化生成器产出计算题,并由实现相关协议的代码生成参考答案;同一批输入还派生出植入错误的“检查”题,测试模型审核同事工作表的能力。在 1,200 题留出测试集上,12 个模型计算得分从 33.3% 到 100.0%,排名靠后者在 level-3 临床任务上表现最差,典型失败如 Claude Sonnet 5.5 在 20 道等中心 MU 题中 19 道遗漏平方反比修正。纠错任务分化更明显:五个模型检出至少 96.7% 的植入错误且误报率不超过 4%,另有模型在仅给结果时误报显著上升;Claude Opus 5.5 自身计算全部正确,却接受了 20 个错误结果中的 6 个,凸显“会算”与“会查”之间的不对称。

医疗物理师的工作容错率极低——一次束流校准或监测单元(MU)计算的错误,可能影响该设备治疗的所有患者。为系统评估语言模型在这类高风险计算中的可靠性,研究者推出了 MedPhysBench 基准,覆盖放射治疗、诊断成像、核医学与辐射防护四大领域,最高难度任务达到 TG-51 校准工作表这样的临床级别。

MedPhysBench 基准来源

计算与纠错:基准的双重设计

MedPhysBench 包含十个种子化生成器,用于产出计算题目;参考答案由实现相关协议的代码生成,评分器负责单位换算并应用容差区间。同一批输入还会派生出独立的“检查”题:向模型展示同事的完整工作表,或仅展示同事的最终结果,其中一半正确、一半植入单个错误,以此测试模型发现错误的能力。

这种双轨设计贴合真实临床场景——物理师既要自己算得对,也要能审出同事的错。

监测单元(MU)与平方反比修正

监测单元(Monitor Unit, MU)是直线加速器输出剂量的计量单位,物理师需根据处方剂量、组织深度、射野大小、源皮距等参数换算出应设置的 MU 数。其中平方反比修正是核心环节之一:当治疗距离偏离校准条件时,剂量率按距离平方反比变化,公式中需乘以 $(\text{SSD}_{\text{cal}}/\text{SSD})^2$ 之类的因子。遗漏该项会系统性高估或低估剂量,属于典型且危险的临床计算错误,也正因如此被用作基准中的定向测试案例。

TG-51 协议

TG-51 是美国医学物理学家协会(AAPM)发布的医用加速器光子与电子束参考剂量学协议,规定了在水中校准高能光子束和电子束吸收剂量的标准流程,包括测量设备、测量深度、束流品质修正因子 $k_Q$ 以及温度气压修正等。基于 TG-51 的校准工作表是临床物理师日常使用的核心工具,将其纳入基准意味着评测任务需覆盖多步查表、单位换算与因子连乘。

NCRP Report 151

NCRP Report 151 是美国国家辐射防护与测量委员会关于外照射放射治疗中结构屏蔽设计的报告,给出计算屏蔽厚度所需的工作负荷、使用因子、居留因子等参数及其取值规则。由于报告在部分情形下允许多种合规取法,题目若未明确限定假设,模型依报告作答也可能与参考答案不一致,这正是基准中若干“被判错但实际合规”答案的来源。

12 个模型的计算表现

在包含 1,200 题的留出测试集(其中一半用于两个模型)上,12 个模型的计算得分区间为 33.3% 至 100.0%。得分最高的四个模型(99.3%–100.0%)共有 9 个答案被判错,其中 5 个是模型自身错误,另外 4 个则遵循了 NCRP Report 151 的规定,而基准题目在相关点上表述有误或留有开放空间。

排名靠后的模型普遍在 level-3 临床任务上表现最差。一个典型失败模式是 Claude Sonnet 5.5 在 20 道等中心 MU 题目中有 19 道遗漏了平方反比修正。

错误检测能力分化明显

在纠错任务中,五个模型能检出至少 96.7% 的植入错误(多为明显错误),误报率不超过 4%。其余七个模型中有四个,在仅提供同事结果、不提供工作表的情况下,误报率显著上升。

一项探索性定向测试使用了 20 个公开的“遗漏平方反比修正”案例。三个表现最好的模型在每个工作表中都抓住了该错误;而三个较弱模型接受了 20 个植入错误工作表中的 16 至 18 个,其中一个模型在自己大部分计算中明明应用了该修正,却仍接受了他人的错误工作表。Claude Opus 5.5 接受了 20 个错误结果中的 6 个,尽管它自己全部 20 次计算都正确应用了修正。

纠错任务中的误报率为何重要

在仅展示同事最终结果、不提供工作表的情况下,模型缺乏中间步骤作为佐证,必须依赖对结果合理性的独立判断。误报率上升意味着模型倾向于把正确结果也标记为错误,这在临床复核场景中同样有害——过高的误报会消耗物理师复核精力、削弱对辅助工具的信任。因此评价纠错能力时需同时考察检出率与误报率,单看检出率会高估可用性。

对临床部署的启示

基准揭示了一个关键不对称:模型“会算”不等于“会查”。部分模型在自主计算时能正确应用某项修正,审核他人工作时却放行同类错误,这对把语言模型用作计算复核助手的安全假设构成直接挑战。

研究者还报告了运行结束后发现的屏蔽题目中的两个问题,并开源了代码、逐题结果与定向测试回答,便于社区复核与改进。

常见问题

MedPhysBench 覆盖哪些领域? 放射治疗、诊断成像、核医学和辐射防护,包含 TG-51 校准工作表等临床级任务。

得分低一定代表模型差吗? 不一定。部分被判错的答案实际符合 NCRP Report 151,暴露出题目本身的表述缺陷。

模型能可靠地审核同事计算吗? 目前不能一概而论。强弱模型在错误检出率与误报率上差距明显,且存在“自己算对、查别人却放行”的现象。

#MedPhysBench#语言模型基准#医疗物理计算#错误检测#放射治疗#MU 计算#TG-51 校准#AI 临床安全
分享:

相关推荐