JEPA在纵向电子病历表示学习中为何不敌MLM？

电子健康记录（EHR）的预训练长期由掩码语言建模（MLM）主导，但一项针对MIMIC-IV的新研究却给新兴的联合嵌入预测架构（JEPA）泼了冷水：三种JEPA变体训练稳定、未出现表示坍缩，下游性能却全面落后于标准MLM。这背后隐藏着怎样的设计困境？

为什么MLM仍是EHR预训练的主流

掩码语言建模（MLM）是Transformer编码器处理纵向电子病历的事实标准预训练目标。其逻辑直观：随机遮盖部分事件，让模型根据上下文重建。这种方法在大量EHR序列上被验证有效，因此成为多数临床预测模型的初始化选择。

但论文指出，重建单个事件可能过度强调噪声大或信息量弱的观察。EHR数据中充斥着常规检验、重复记录和缺失编码，逐事件重建会让模型把容量浪费在这些低价值信号上。更重要的是，MLM并未显式鼓励模型学习患者的高层状态——比如整体疾病进展或风险分层——而这些恰恰是临床下游任务最需要的抽象。

JEPA的吸引力：在潜空间做预测

联合嵌入预测架构（JEPA）提供了一条不同的路径：不重建原始输入，而是在潜在表示空间中进行预测。模型看到部分上下文后，预测被遮盖部分在表示空间中的嵌入，而非原始token。这一思路在图像、视频和音频领域已展现出强大性能，因为它迫使模型关注可预测的抽象特征，而非像素或token级别的细节。

将JEPA适配到EHR序列表示，理论上有望绕过MLM的噪声敏感问题，直接学习患者状态的高层表示。研究团队因此构建了三种JEPA变体，在MIMIC-IV上展开实证检验。

表示坍缩（representation collapse）是自监督学习中联合嵌入架构的典型失败模式：编码器将所有输入映射到几乎相同的表示（输出常数或低秩子空间），使预测损失看似很低，但学到的特征没有区分度。为防止坍缩，JEPA类方法通常采用非对称架构（如动量编码器、stop-gradient）或正则化项（如VICReg的方差-协方差约束）。文中强调三种JEPA变体“未出现表示坍缩”，是为了排除这一常见干扰因素，从而把下游性能差距归因于目标设计而非训练失败。

实验结果：稳定训练，却全面落后

据论文报告，所有三种JEPA公式均能稳定训练，没有出现表示坍缩——即模型没有退化为输出常数或低秩表示。这本身是个积极信号，说明JEPA的架构设计在EHR数据上可行。

然而，下游性能的一致落后打破了这一乐观预期。在多个评估任务上，JEPA变体均未能超越标准MLM。这一结果并非由训练不稳定导致，而是指向更根本的问题：仅靠稳定的潜空间预测，不足以实现有竞争力的EHR表示学习。

目标大小与异质性的关键发现

研究进一步拆解了JEPA预测误差的来源。一个反直觉的发现是：目标大小（target size）而非目标异质性（target heterogeneity）推高了预测误差。这意味着，当被预测的潜在目标覆盖更大范围或更粗粒度时，预测难度上升；而目标本身是否多样，影响相对有限。

但更关键的结论在于：即使缩小目标大小，也无法恢复下游性能。这排除了“调整预测粒度就能补救”的简单思路，暗示JEPA在EHR上的瓶颈不在于预测误差的量级，而在于所预测的潜在目标本身是否具有临床意义。

目标大小（target size）指被预测的潜在目标所覆盖的时间跨度或聚合粒度，例如预测未来一天还是未来一周的患者状态嵌入；目标异质性（target heterogeneity）则指目标集合内不同样本或不同维度的多样性程度。在JEPA框架中，目标由编码器对遮盖部分生成，其大小直接影响预测任务的难度与信息密度：目标越大越粗，预测误差通常越高。该研究通过控制变量分离二者影响，发现误差主要由目标大小驱动，这为后续调整预测粒度提供了实证依据，但也表明仅靠缩小目标无法解决语义层面的瓶颈。

核心挑战：定义临床上有意义的潜目标

论文的落脚点是一个开放问题：如何为EHR定义有临床意义的潜在目标？在图像领域，潜空间预测之所以有效，是因为视觉世界存在可学习的物理规律和语义结构。EHR序列则不同——患者状态的高层抽象本身缺乏公认的、可计算的表示定义。疾病进展、共病负担、治疗反应等概念在临床上有意义，却难以转化为适合JEPA预测的密集潜目标。

这也解释了为何缩小目标尺寸无济于事：问题不在预测的精度，而在预测什么。若潜目标本身无法捕捉临床相关性，再稳定的训练也无法转化为下游收益。

对EHR表示学习的启示

这项实证研究传递了两个信号。其一，JEPA并非即插即用的替代方案，将视觉领域的成功迁移到EHR需要重新思考目标设计。其二，MLM的持续主导地位有其合理性——尽管它过度强调单个事件，但重建原始信号至少提供了一个信息密集、无需人工定义高层概念的训练信号。

对实践者而言，短期内MLM仍是纵向EHR预训练的可靠基线。对研究者而言，真正的突破口可能不在于更换预测目标，而在于设计能够桥接临床语义与潜空间预测的中间表示。在找到这样的表示之前，JEPA在EHR上的潜力仍停留在理论层面。