模型Bootstrap Your Own Latent
BYOL
DeepMind提出的自监督学习方法,完全去除负样本对,用在线网络与目标网络的自举机制防止表征坍塌
时间轴 (近 90 天)
9月5日
对比学习(如SimCLR、BYOL、MoCo)依赖数据增强来构造正负样本对,而JEPA不依赖显式的数据增强策略
待验证50%
9月4日
SimCLR、BYOL等对比学习方法需要设计负样本策略、停止梯度机制或正则化手段来防止表征坍缩
待验证50%
DeepMind提出的自监督学习方法,完全去除负样本对,用在线网络与目标网络的自举机制防止表征坍塌
对比学习(如SimCLR、BYOL、MoCo)依赖数据增强来构造正负样本对,而JEPA不依赖显式的数据增强策略
SimCLR、BYOL等对比学习方法需要设计负样本策略、停止梯度机制或正则化手段来防止表征坍缩