医疗AI因果评估：部署之后，如何证明它真的有效？

医疗AI的评价体系正在面临一个根本性问题：我们测量的东西，和我们想知道的东西，往往不是一回事。

一篇来自RSS源的分析文章（Evaluating the Causal Impact of Healthcare AI）指出，当前医疗AI评估普遍报告两类指标——模型的预测性能，以及部署后的结果变化。这两类指标各有价值，但它们回答的是不同的问题。预测性能描述模型估计结果的准确程度；部署后的结果变化描述实施之后发生了什么。两者单独来看，都无法证明AI系统"导致"了改变。

为什么"前后对比"不够用

设想一家医院引入了AI辅助分诊系统，随后观察到患者等待时间缩短。这看起来是一个成功案例。但问题在于：等待时间的缩短可能来自多种原因——医护人员数量可能同时增加了，工作流程可能被重新设计了，或者患者就诊量可能恰好下降了。

简单的"实施前 vs 实施后"对比无法可靠地分离出AI本身的贡献。这不是一个技术细节，而是决定了整个评估结论是否成立的前提。

文章的核心原则可以概括为一句话：时间上的关联不等于因果证据。

预测准 ≠ 有用：被忽视的落地环节

医疗AI评估中另一个容易被混淆的维度，是"提供预测"和"基于预测采取行动"之间的区别。

一个预测模型可能性能优异，但如果临床医生无法根据它的输出采取实际行动，那么它对结果的影响可能微乎其微。反过来，对于agentic系统（即具备自主行动能力的AI系统），它可能通过自身发起的操作来改变结果，这就创造了额外的评估路径——需要追踪从模型输出到执行动作、再到临床响应和最终结果的完整链路。

这意味着评估的边界需要扩展。仅仅看模型"说了什么"不够，还要看系统"做了什么"以及"导致了什么"。

因果评估需要匹配场景的研究设计

文章强调，影响评估需要与干预方式和临床场景相匹配的研究设计。根据可行性，可选路径包括：

• 随机对照试验：将AI干预随机分配给不同组别，是建立因果关系的黄金标准，但在临床场景中往往面临伦理和操作上的挑战
• 受控实施研究：在部分科室或机构先行部署，与条件相近的对照单位进行比较
• 中断时间序列分析：观察干预前后长时间序列数据中的趋势变化，而非简单的前后均值对比
• 精心设计的观察性比较：在无法进行实验时，通过统计方法控制混杂因素

选择哪种设计，取决于干预的性质、场景的约束条件，以及可获取的数据结构。

中断时间序列分析（Interrupted Time Series, ITS）是一种准实验设计，核心在于利用干预实施前后多个时间点的观测数据，估计干预带来的"水平变化"（即干预后立即出现的均值跃升或下降）和"斜率变化"（即干预后长期趋势的走向改变）。与简单的前后均值对比相比，ITS能够部分控制随时间自然演变的趋势，从而降低将"原有趋势"误判为"干预效果"的风险。在医疗AI评估中，如果某系统上线后指标持续改善，但改善曲线在上线前就已呈现类似斜率，ITS能够揭示这一事实，避免高估AI贡献。ITS的局限在于难以排除与干预同时发生的其他事件（如政策调整、季节性疫情），因此通常需要配合对照组或敏感性分析使用。

需要警惕的评估陷阱

文章列出了研究者在评估过程中需要专门考虑的几个问题：

混杂因素——其他同时发生的变化可能掩盖或放大AI的真实效应。选择效应——哪些患者或机构被纳入AI干预，本身就可能导致结果偏差。实施保真度——AI系统在纸面上设计的功能，和它在真实临床环境中的实际使用方式，可能存在巨大差异。非预期后果——AI的引入可能带来意想不到的负面影响，比如自动化偏见（clinicians过度依赖AI建议）或对特定人群的差异化影响。患者群体间的差异——AI系统在不同人口学特征、疾病亚型上的效果可能不一致，需要分组评估。

对于agentic系统，评估还应覆盖从模型输出、到执行动作、到临床响应、再到相关结局的完整干预通路。任何一个环节的断裂都可能使系统失效，但在只关注最终结果的评估中被忽略。

自动化偏见（Automation Bias）是指临床人员过度信任自动化系统的输出，从而减少自身的独立判断或核查行为。在医疗AI场景中，这种偏见可能表现为：医生直接采纳AI给出的分诊建议而不再复核关键信息，或对AI的阴性判断放松警惕而漏诊。自动化偏见带来的危害具有隐蔽性——它可能使AI系统在平均指标上表现良好，却在特定边缘病例或罕见亚型上造成系统性遗漏。评估此类非预期后果，需要在研究设计中专门纳入对临床决策过程的观察，例如记录医生修改AI建议的比例、对AI提示的响应时间，以及AI错误输出被拦截或放行的频率，而不仅仅关注最终结局指标。

从"事后有利结果"到"可信因果证据"

这篇文章的立场很明确：医疗AI需要的是可信的证据，证明部署AI相比适当的替代方案改善了诊疗——而不仅仅是证明在部署之后出现了有利结果。

这个要求看似严苛，但考虑到医疗决策的后果，它是合理的。当一家医院决定投入资源部署AI系统时，它需要知道的是：相比不部署AI、或者部署其他方案，AI的引入是否真正带来了增量价值？这个问题，只有合适的因果推断设计才能回答。

当前的医疗AI评估实践离这个标准还有距离。文章中提到的研究设计选项——随机试验、受控实施研究、中断时间序列——在学术界并不新鲜，但在医疗AI的实际评估中，它们的使用频率远低于简单的预测性能报告和前后对比。

要缩小这个差距，需要评估者、临床机构和AI开发者共同转变思路：把AI部署当作一次需要严谨评估的干预，而不是一次只需要展示结果的技术升级。