MAE
Masked Autoencoders，一种基于掩码重建的自监督视觉学习方法，通过遮盖图像部分区域并预测被遮盖内容来训练模型
时间轴 (近 90 天)
MAE（Masked Autoencoders）用高掩码率替代瓶颈约束，迫使模型学习语义表示，延续了 Context Encoders 的设计思路
该即插即用框架不改变SSL主干网络的结构和损失函数，仅替换采样模块，可集成到MAE、SimCLR、DINO等现有SSL流程
当分位点 τ=0.5 时，分位数损失退化为平均绝对误差（MAE）
在推荐场景中，模型通常用均方根误差RMSE衡量预测评分与真实评分之间的误差
入口级和转向级预测相较于历史均值基线，平均绝对误差（MAE）分别降低了4.03%和3.92%
地理空间基础模型通常以Transformer架构为核心，采用自监督学习方式在大量遥感影像上预训练，典型方法包括掩码自编码器（MAE）和对比学习
何恺明等人在2021年提出的MAE将图像切分为patch后随机遮盖高达75%的patch，用Vision Transformer编码可见patch并重建被遮盖部分
掩码上下文增强策略的灵感来自 NLP 领域的掩码语言建模（如 BERT）和计算机视觉中的掩码自编码器（MAE）
自监督学习通过从数据自身构造监督信号，已成为 BERT、GPT、MAE 等大规模预训练模型的核心训练策略
The choice of pretraining (ImageNet-1K vs ImageNet-21K, supervised vs self-supervised like MAE/DINO) significantly impacts downstream performance, potentially causing several percentage points of difference
全部知识事实 (10)
The choice of pretraining (ImageNet-1K vs ImageNet-21K, supervised vs self-supervised like MAE/DINO) significantly impacts downstream performance, potentially causing several percentage points of difference
80%待验证MAE（Masked Autoencoders）用高掩码率替代瓶颈约束，迫使模型学习语义表示，延续了 Context Encoders 的设计思路
50%待验证该即插即用框架不改变SSL主干网络的结构和损失函数，仅替换采样模块，可集成到MAE、SimCLR、DINO等现有SSL流程
50%待验证当分位点 τ=0.5 时，分位数损失退化为平均绝对误差（MAE）
50%待验证在推荐场景中，模型通常用均方根误差RMSE衡量预测评分与真实评分之间的误差
50%待验证入口级和转向级预测相较于历史均值基线，平均绝对误差（MAE）分别降低了4.03%和3.92%
50%待验证地理空间基础模型通常以Transformer架构为核心，采用自监督学习方式在大量遥感影像上预训练，典型方法包括掩码自编码器（MAE）和对比学习
50%待验证何恺明等人在2021年提出的MAE将图像切分为patch后随机遮盖高达75%的patch，用Vision Transformer编码可见patch并重建被遮盖部分
50%待验证掩码上下文增强策略的灵感来自 NLP 领域的掩码语言建模（如 BERT）和计算机视觉中的掩码自编码器（MAE）
50%待验证自监督学习通过从数据自身构造监督信号，已成为 BERT、GPT、MAE 等大规模预训练模型的核心训练策略
50%