概念Embedding Space Collapse / 表征坍缩
嵌入空间坍缩
指模型对不同输入产生的表示向量高度趋同,导致向量间区分度下降,削弱基于相似度的聚类、检索和匹配任务性能的现象。
时间轴 (近 90 天)
10月27日
若干广泛使用的多语言模型出现了嵌入空间坍缩,即不同输入的表示高度趋同,导致它们不适合基于相似度的聚类任务。
待验证50%
10月27日
指代消解中的实体聚类依赖基于相似度的聚类能力,因此嵌入坍缩会直接损害模型表现。
待验证50%
指模型对不同输入产生的表示向量高度趋同,导致向量间区分度下降,削弱基于相似度的聚类、检索和匹配任务性能的现象。
若干广泛使用的多语言模型出现了嵌入空间坍缩,即不同输入的表示高度趋同,导致它们不适合基于相似度的聚类任务。
指代消解中的实体聚类依赖基于相似度的聚类能力,因此嵌入坍缩会直接损害模型表现。