概念Masked Language Modeling / 掩码语言建模
MLM
一种自监督预训练目标，随机遮盖输入序列中的部分token，让模型基于上下文重建被遮盖部分，广泛应用于Transformer编码器的预训练。
时间轴 (近 90 天)
10月22日
在该研究的多个下游评估任务上，JEPA变体的性能均未能超越标准MLM。
待验证50%
10月22日
重建单个事件可能使MLM过度强调噪声大或信息量弱的观察，并使其容量浪费在低价值信号上。
待验证50%
10月22日
MLM并未显式鼓励模型学习患者的高层状态（如整体疾病进展或风险分层），而这些是临床下游任务最需要的抽象。
待验证50%
10月22日
对实践者而言，短期内MLM仍是纵向EHR预训练的可靠基线。
待验证50%
9月1日
BERT的MLM是一步到位的预测且主要用于表征学习，而离散扩散模型将mask比例作为从0%到100%的连续变量构建完整马尔可夫链，通过多步迭代实现渐进式生成
待验证50%