ConceptMRL / Matryoshka Representation Learning
Matryoshka表示学习
一种嵌入训练技术,使模型生成的向量具有可截断性,即同一高维向量的前缀子向量也能保留大部分语义信息,允许根据资源约束动态调整向量维度
Timeline (last 90 days)
Oct 7
EmbeddingGemma2采用Matryoshka表示学习,将最重要的信息编码到向量最前面,支持向量截断
Unverified50%
Oct 7
Google在text-embedding-004等模型中也采用了Matryoshka表示学习技术
Unverified50%
Oct 7
EmbeddingGemma 2采用Matryoshka表示学习,256、128或更少维度仍能作为独立embedding使用
Unverified50%