对比学习
一种自监督或弱监督学习范式，通过构造正负样本对训练模型，使语义相似样本在嵌入空间中距离更近，是CLIP、SigLIP等视觉语言模型的核心训练方法
核心事实
时间轴 (近 90 天)
对比式信号对阈值和尺度更鲁棒，更容易从编辑器已有的特征空间中直接读出，而不必额外训练一个独立的评分网络。
字体嵌入的典型流程包括：数据准备（收集 TTF/OTF 字体文件并渲染字符）、特征提取（用 CNN 或 VAE 编码为向量）、训练嵌入空间（对比学习或自编码器重建损失）、降维可视化（t-SNE、UMAP 或 PCA）、观察结构。
Transformer架构、对比学习、强化学习与人类反馈（RLHF）属于范式级创新
论文将对比学习、指数族分布和信息几何三个数学工具串联，建立了锚点上的概率分布与表示空间上Bregman几何之间的严格映射关系
论文提出对比学习得到的表示天然蕴含一个几何家族而非单一几何，同一组固定向量表示可被特化到不同语义结构而无需重新训练模型
Transformer架构和对比学习（contrastive learning）已被用于对抹香鲸尾音序列进行嵌入表示
Embedding模型微调通常采用对比学习框架，通过构造正样本对和负样本对训练模型拉近正样本、推开负样本
地理空间基础模型通常以Transformer架构为核心，采用自监督学习方式在大量遥感影像上预训练，典型方法包括掩码自编码器（MAE）和对比学习
对比学习天然鼓励模型抓取图像中最具区分度的语义特征，而非细粒度的空间与数量信息
对比学习是实现负样本学习的核心范式,通过拉近正样本对表征距离、推远负样本对表征距离来学习特征
还有 9 条时间轴事件
全部知识事实 (20)
CLIP架构由OpenAI于2021年提出，通过对比学习将图像和文本映射到同一高维向量空间
90%已验证对比学习的核心损失函数（如InfoNCE、NT-Xent）本质是拉近同类样本表征距离、推远不同类样本表征距离
65%待验证微调时应使用难负样本（如同领域但不同层级的岗位）而非随机负样本，以获得最大增益
60%待验证对比式信号对阈值和尺度更鲁棒，更容易从编辑器已有的特征空间中直接读出，而不必额外训练一个独立的评分网络。
50%待验证字体嵌入的典型流程包括：数据准备（收集 TTF/OTF 字体文件并渲染字符）、特征提取（用 CNN 或 VAE 编码为向量）、训练嵌入空间（对比学习或自编码器重建损失）、降维可视化（t-SNE、UMAP 或 PCA）、观察结构。
50%待验证Transformer架构、对比学习、强化学习与人类反馈（RLHF）属于范式级创新
50%待验证论文将对比学习、指数族分布和信息几何三个数学工具串联，建立了锚点上的概率分布与表示空间上Bregman几何之间的严格映射关系
50%待验证论文提出对比学习得到的表示天然蕴含一个几何家族而非单一几何，同一组固定向量表示可被特化到不同语义结构而无需重新训练模型
50%待验证Transformer架构和对比学习（contrastive learning）已被用于对抹香鲸尾音序列进行嵌入表示
50%待验证Embedding模型微调通常采用对比学习框架，通过构造正样本对和负样本对训练模型拉近正样本、推开负样本
50%待验证地理空间基础模型通常以Transformer架构为核心，采用自监督学习方式在大量遥感影像上预训练，典型方法包括掩码自编码器（MAE）和对比学习
50%待验证对比学习天然鼓励模型抓取图像中最具区分度的语义特征，而非细粒度的空间与数量信息
50%待验证对比学习是实现负样本学习的核心范式,通过拉近正样本对表征距离、推远负样本对表征距离来学习特征
50%待验证对比学习通常采用InfoNCE损失函数,该函数源于噪声对比估计(Noise Contrastive Estimation)理论
50%待验证JEPA与对比学习的本质区别在于JEPA通过预测缺失部分的表征来学习，不依赖显式的数据增强策略
50%待验证表征坍缩是深度学习中被广泛研究的现象，尤其常见于自监督学习和对比学习框架中
50%待验证主流文本嵌入模型通常基于对比学习训练，将语义相似的文本对映射到向量空间邻近位置，将不相关的文本对推远
50%待验证对比学习微调的负样本应使用难负样本（hard negatives），如同领域但不同层级的岗位，而非随机负样本
50%待验证对嵌入模型进行对比学习微调能提升招聘场景匹配效果，关键在于使用难负样本（如同领域但不同层级的岗位）而非随机负样本
50%待验证对嵌入模型进行对比学习微调需要标注数据（成功入职的正样本与被拒绝的负样本）才能显著提升效果
50%