概念masked-text reconstruction / Masked Language Modeling / MLM
掩码文本重建
自然语言处理中的经典自监督预训练任务，给定文本后随机遮住若干token，要求模型根据上下文预测被遮住的内容，是BERT系列模型的核心预训练机制
时间轴 (近 90 天)
10月12日
该研究针对掩码文本重建任务量化了语料采样分歧，即在相同总体上独立采集两份语料后各自训练出的预测器输出的差异
待验证50%
10月12日
研究把每一个源文档当作一个观测单位，而不是把每个 token 视为独立样本
待验证50%