[KongchangAI]
ConceptMRL / Matryoshka Representation Learning

Matryoshka表示学习

一种嵌入训练技术,使模型生成的向量具有可截断性,即同一高维向量的前缀子向量也能保留大部分语义信息,允许根据资源约束动态调整向量维度

Timeline (last 90 days)

Oct 7

EmbeddingGemma2采用Matryoshka表示学习,将最重要的信息编码到向量最前面,支持向量截断

Unverified50%
Oct 7

Google在text-embedding-004等模型中也采用了Matryoshka表示学习技术

Unverified50%
Oct 7

EmbeddingGemma 2采用Matryoshka表示学习,256、128或更少维度仍能作为独立embedding使用

Unverified50%

All Facts (3)

Source Articles