PRISM：多模态语言模型如何重塑临床预后预测

医疗临床预后判断从来不是单一数据能解决的问题。医生需要综合结构化检验指标、生理波形信号、纵向病史，以及更广泛的人群背景信息。一项名为 PRISM（Population-Retrieved Inference for Structured Multimodal Prognosis）的新研究，尝试用检索增强的多模态语言模型，把这些异构证据整合进一个统一框架。

PRISM 的核心设计思路

PRISM 并不是简单地把病历文本塞进大模型。它在三个关键环节做了结构化处理：对每个数值特征采用独立的数值 token 化（per-feature numerical tokenization），对纵向心电图（ECG）采用近因加权聚合（recency-weighted aggregation），并构建了一个双模态的人群记忆库（dual-modality population memory bank）。

这套设计的用意很清晰——临床数据的数值精度和时间顺序本身就携带了诊断信息，粗暴地转成文本序列会损失这些结构。研究中的消融实验也印证了这一点：当把数值型 EHR 编码替换成文本序列化时，AUROC 直接下降 3.66 个百分点，是所有干预中影响最大的一项。

检索在表示空间进行，而非提示词层面

PRISM 的检索机制有一个值得关注的隐私友好设计：检索操作发生在表示空间（representation space）中。模型接收到的是相似训练队列就诊记录的均值池化嵌入，而不是任何单条可追溯的个体病历进入提示词。这意味着系统在利用人群经验的同时，避免了把具体患者数据暴露在上下文中，对医疗场景的合规性有现实意义。

电子健康记录（EHR）的数值 token 化是 PRISM 区别于通用大模型的关键设计之一。传统做法将检验值（如血肌酐 1.2 mg/dL）直接转为字符串，语言模型会将其视为文本 token 序列，丢失了数值本身的连续性和量级信息——"1.2"和"1.3"在文本空间的距离并不反映其临床接近度。Per-feature numerical tokenization 的思路是为每个特征单独维护一套离散化的数值词表，使模型能感知同一特征不同取值之间的偏序关系，同时保留特征间的语义独立性。纵向 ECG 的近因加权聚合（recency-weighted aggregation）则处理另一个维度的问题：患者在不同就诊时间点可能有多份心电图，近期记录的诊断权重应高于远期。简单地对多份 ECG 嵌入做平均会模糊这一时间结构，近因加权则用指数衰减或类似机制赋予最近一次 ECG 更高的融合权重，保留了生理状态随时间演变的方向性信息。

这种检索范式在技术上属于检索增强生成（RAG）的变体，但与常见的文档级 RAG 有本质区别。标准 RAG 将检索到的原始文本片段拼接入提示词，模型直接"看到"具体病历内容。PRISM 的做法则将相似队列记录的嵌入向量做均值池化后作为软性上下文输入，模型接触的是抽象的统计表示而非任何可还原的个体信息。这与联邦学习中"聚合梯度而非原始数据"的思路有相通之处。从检索质量角度看，均值池化嵌入相当于为目标患者提供了一个"典型相似患者"的综合印象，有助于在训练分布之外的罕见表现型上进行软校正，但也因此丧失了单个最相似案例可能携带的细粒度诊断信号——这或许也是消融实验中检索贡献相对温和的原因之一。

基准测试上的表现

在包含 1443 个任务的 MDS-ED 基准上，PRISM 的成绩相当可观：诊断 AUROC 达到 86.2%，病情恶化预测 93.1%，ICU 入院预测 91.8%，死亡率预测 92.8%。

不过研究者在这里保持了诚实。这组高分使用了一个 96 小时的到院前时间窗（pre-arrival window），而对比的基线模型并不具备这一输入条件。为了做公平比较，研究同时报告了仅用基准窗口输入的结果：此时 PRISM 的 AUROC 为 0.8895，与 UniPACT 的 0.8937 和 MDS-ED 的 0.8889 基本持平。

换句话说，在同等输入条件下，PRISM 并没有碾压式优势；它真正拉开差距的能力，很大程度上来自对更长时间窗证据的有效利用。这是一个需要客观看待的区别。

结构化融合的价值有多大

研究设计了一个关键对照：一个使用相同五路证据流、相同冻结编码器的紧凑融合模型（compact fusion model），在匹配输入下只达到 0.7652 AUROC，而 PRISM 在相同设置下达到 0.9092。这个差距说明，拥有相同的原始证据并不等于能用好它们——模型如何组织和整合这些异构信息，才是性能的决定因素。

消融实验揭示的证据权重

PRISM 的几项消融结果，为理解各类证据的贡献提供了量化依据：

• 用文本序列化替换数值 EHR 编码：AUROC 下降 3.66 分
• 移除到院前病史：下降 1.97 分
• 将检索置零：下降 0.99 分

这个排序很有信息量：数值精度 > 纵向历史 > 人群检索。检索确实有正向贡献，但相对温和。

进一步地，真实检索相比随机邻居检索（random-neighbor retrieval）在宏平均上领先 0.97 分，但配对的任务级符号检验并未确立一致性优势（p=0.067）。研究者没有回避这个边缘性的统计结果——检索有用，但其优势在所有任务上并非普遍稳健。这种对不确定性的如实呈现，恰恰是这类医疗 AI 研究应有的态度。

跨机构迁移的现实挑战

医疗模型最大的难题之一是跨机构泛化。PRISM 在外部 MC-MED 队列上的表现揭示了这一点：直接迁移的 source-only PRISM 只有 0.7841 AUROC，甚至低于本地训练的梯度提升模型（gradient boosting）的 0.8227。

但经过监督微调（supervised fine-tuning）后，PRISM 在外部队列上提升到 0.8611，反超了本地传统模型。这组对比传递的信息很明确：预训练的多模态结构确实是有价值的起点，但要在新机构落地，监督式的外部适配不可或缺，不能指望零样本直接迁移。

**领域偏移（domain shift）**是医疗 AI 跨机构泛化失败的核心机制。不同医院使用不同的检验仪器、采用不同的临床路径和编码习惯，导致同一疾病在两个机构的特征分布可能显著不同。梯度提升等传统机器学习模型在本地训练数据上直接拟合目标分布，因而在本地测试集上往往有竞争力；而预训练的多模态模型携带的是源机构的归纳偏置，直接迁移时面临分布错配。监督微调（SFT）通过在目标机构的标注样本上继续更新模型参数，使其逐步适应新的数据分布。PRISM 的实验表明，预训练阶段积累的多模态结构理解能力在微调后得以保留并放大，最终超越了从零开始拟合本地数据的传统模型——这与计算机视觉和 NLP 领域"预训练+微调"范式的结论一致，但在医疗场景中受数据稀缺和隐私约束影响，微调所需的标注样本量和合规成本仍是落地的现实门槛。

结论与思考

PRISM 的工作支持了两个论点：一是结构感知的多模态整合（structure-aware multimodal integration）优于把一切都文本化的做法；二是跨机构部署需要监督式外部适配。

对于关注医疗 AI 落地的从业者，PRISM 的几点经验值得借鉴：保留数值和时间结构比追求统一文本接口更重要；在表示空间做人群检索既能利用群体经验又兼顾隐私；以及高性能数字背后一定要看清输入条件是否可比。这项研究的严谨之处，不仅在于它拿到了高分，更在于它清楚地标注了这些分数成立的边界。