LLM肿瘤全程诊疗评估新基准：诊断强不等于下游强

导语

大语言模型（LLM）在专科医学中展现出潜力，但现有评估多聚焦于孤立的临床场景，而非追踪临床责任在纵向诊疗路径中如何演变。一项新研究提出了 NPC-RubricBench，一个阶段感知的基准，用于评估鼻咽癌（NPC）全程多阶段临床推理能力。该研究基于两家癌症中心 405 名患者的纵向记录，构建了覆盖六个连续诊疗阶段的 941 个患者-阶段单元，以及跨越五个评估维度的 17,688 条患者特异性原子标准，且每项评估严格限定于决策时刻的临床证据。

为什么需要纵向、阶段感知的评估？

现有 LLM 医学评估大多停留在“单点诊断”层面，例如根据一段病史或影像报告给出诊断结论。然而，真实肿瘤诊疗是一条漫长的链条：从初始检查、解剖分期、治疗决策，到疗效评估和随访，每个阶段对模型的能力要求不同，错误类型也不同。NPC-RubricBench 的核心贡献在于将评估单元从“一次问答”扩展为“患者-阶段”序列，并允许对同一患者在疾病不同阶段的模型表现进行追踪。这种设计更贴近临床实际，也能暴露模型在时间维度上的稳定性问题。

鼻咽癌（NPC） 是一种起源于鼻咽部黏膜上皮的恶性肿瘤，在中国南方及东南亚地区发病率显著偏高，且与 EB 病毒（EBV）感染高度相关。其诊疗路径具有典型的分期依赖性：早期患者以放疗为主，局部晚期常需同步放化疗，复发或转移阶段则涉及化疗、靶向及免疫治疗。由于鼻咽解剖位置深在、毗邻颅底和重要神经血管，分期（尤其是 T 分期）对影像判读要求极高，而诱导化疗后的疗效评估又需结合鼻咽镜、MRI 与 EBV DNA 载量动态判断。这种“分期决定治疗、治疗又改变后续分期依据”的循环，使 NPC 成为检验 LLM 纵向推理能力的理想疾病模型——模型不仅要答对某一时点的判断，还要理解前一阶段决策如何约束后续可选方案。

核心发现：诊断表现与下游照护脱节

研究评估了 30 个通用与医学专用 LLM，得出一个关键结论：高诊断性能并不能自动转化为更好的下游照护表现。换言之，一个模型可能在解剖分期上准确率可观，但在初始检查或治疗后随访中却频繁遗漏关键步骤。这一发现直接挑战了“诊断准确率越高、模型越可靠”的朴素假设。

失败模式随阶段反转

更细粒度的分析显示，主导失败模式在不同阶段发生反转：解剖分期阶段以显式决策错误为主，占比达 48.2%；而初始检查和治疗后随访阶段则以决策遗漏为主，分别占比 33.4% 和 30.4%。这意味着同一模型在链条上游和下游的薄弱环节截然不同，阶段自适应的安全机制比全局优化更有针对性。

医学适配模型的遗漏问题

在受评估的模型集合中，医学适配模型的遗漏率反而高于通用模型。一个可能的解释是，医学微调可能让模型更倾向于给出“看起来合理”的简洁回答，从而跳过某些必要的检查或随访步骤。这一反直觉的结果提示，医学领域适配并不必然带来全流程可靠性提升，需要结合阶段特征进行细粒度诊断。

原子标准（atomic criterion） 指将一条完整的临床评估拆解为最小可独立判定的单一要求，例如“是否记录了鼻咽 MRI 的分期结果”或“是否在放疗前评估了听力和张口度”。与整体打分或粗略分级相比，原子标准具有可归因、可复现的优势：模型输出若只满足部分要求，评估者能精确定位遗漏了哪一步。NPC-RubricBench 为每位患者在特定阶段生成患者特异性原子标准，意味着标准随其病史、分期和既往治疗而变，而非套用通用清单。这种做法把“评分”转化为“逐项核对责任清单”，使不同模型之间的差异可以落到具体的临床动作上，也让“遗漏”与“错误”得以分开统计，正是该研究发现失败模式随阶段反转的方法学基础。

提示粒度存在关键权衡

研究还考察了查询粒度对模型表现的影响，揭示了一个关键的规格权衡：宽泛的开放式请求会降低全部 30 个模型的决策质量；而更详细的清单式提示虽然能提升决策质量，却会降低证据忠实度和安全依从性。换句话说，提示越“手把手”，模型越容易给出看似完整的决策，但也更容易脱离给定证据或忽视安全边界。这对临床部署中的提示设计提出了现实约束：不能单纯追求决策质量而牺牲忠实性与安全性。

证据忠实度（evidence faithfulness） 衡量模型输出中的论断是否可由输入病历、检查报告中给出的信息所支持，而非来自模型自身参数记忆或凭空推断。在临床场景中，这一指标尤为关键：模型若给出看似正确的建议却引用了不存在的检查结果，或把既往史当作当前证据，就可能误导后续决策。清单式提示之所以会降低证据忠实度，是因为逐项列出的要求会诱导模型“补全”每一项，即便原始记录中并无对应依据。与安全依从性一样，忠实度属于难以通过下游任务准确率间接反映的维度，必须单独度量，这也是阶段感知基准在决策质量之外同时设置多维度原子标准的理由。

对多阶段医疗 AI 的启示

NPC-RubricBench 的结论指向一个明确方向：静态诊断基准不足以确保模型在时间维度上的一致临床可靠性。多阶段医疗 AI 需要阶段自适应的防护措施，例如针对不同诊疗阶段设定差异化的遗漏检测、证据约束和安全校验规则。对于希望将 LLM 嵌入肿瘤诊疗流程的团队而言，评估重点应从“单点答对率”转向“全程责任链上的错误类型分布”，并据此设计针对性的干预策略。

该基准以鼻咽癌为定义明确的疾病背景，其方法论——患者特异性原子标准、决策时刻证据限定、阶段感知评估——有潜力推广到其他肿瘤类型和慢性病全程管理场景。

要点回顾

• NPC-RubricBench 覆盖 405 名患者、941 个患者-阶段单元、17,688 条原子标准，实现纵向阶段感知评估。
• 30 个 LLM 的评估显示，诊断表现强并不代表下游照护表现好，失败模式随阶段反转。
• 医学适配模型的决策遗漏率高于通用模型，医学微调不等于全流程可靠。
• 提示粒度存在权衡：开放式请求降决策质量，清单式提示升决策质量但降证据忠实度与安全依从性。
• 多阶段医疗 AI 需要阶段自适应安全机制，静态诊断基准不足以保障长期临床可靠性。