Matryoshka Representation Learning
一种嵌入训练范式，由 Kusupati 等人于 2022 年提出，在训练时同时优化多个粒度的嵌入子向量，使截断后的低维子向量也具备良好表达能力，无需重新训练即可在不同资源约束场景复用同一模型
核心事实
时间轴 (近 90 天)
EmbeddingGemma 2 默认输出768维向量，并支持通过Matryoshka Representation Learning将输出维度截断到低至128维
MRL提供了在检索质量与资源消耗之间动态权衡的手段，适用于存储空间和内存带宽受限的端侧场景
使用MRL时，128维向量相比768维可将向量库体积缩小约6倍
MRL 技术允许在粗排时用低维向量快速筛选、精排时切换到高维向量，实现存储空间、检索速度与精度的权衡
OpenAI 的 text-embedding-3 系列采用了类似 MRL 的技术
EmbeddingGemma 2 采用 Matryoshka Representation Learning 技术，嵌入向量可被截断到 512、256 或 128 维而不会严重损失表达质量
Matryoshka 表示学习在训练时对同一向量的多个前缀长度同时施加监督损失，迫使模型将最重要的语义信息优先编码到向量的前几个维度
Matryoshka 技术允许推理时直接截断向量而无需重新训练模型，以精度损失换取更快检索和更小存储
全部知识事实 (8)
EmbeddingGemma 2 采用 Matryoshka Representation Learning 技术，嵌入向量可被截断到 512、256 或 128 维而不会严重损失表达质量
75%待验证EmbeddingGemma 2 默认输出768维向量，并支持通过Matryoshka Representation Learning将输出维度截断到低至128维
50%待验证MRL提供了在检索质量与资源消耗之间动态权衡的手段，适用于存储空间和内存带宽受限的端侧场景
50%待验证使用MRL时，128维向量相比768维可将向量库体积缩小约6倍
50%待验证MRL 技术允许在粗排时用低维向量快速筛选、精排时切换到高维向量，实现存储空间、检索速度与精度的权衡
50%待验证OpenAI 的 text-embedding-3 系列采用了类似 MRL 的技术
50%待验证Matryoshka 表示学习在训练时对同一向量的多个前缀长度同时施加监督损失，迫使模型将最重要的语义信息优先编码到向量的前几个维度
50%待验证Matryoshka 技术允许推理时直接截断向量而无需重新训练模型，以精度损失换取更快检索和更小存储
50%