分层嵌入与量化如何权衡？MTEB基准揭示效率与效果的平衡点

文本嵌入模型正朝着两个方向优化效率：分层表示（hierarchical representation）允许模型输出可变长度的向量，量化（quantization）则降低数值精度。这两项技术看似独立，但实际组合使用时会产生怎样的交互效应？一篇最新的实证基准研究给出了答案。

该研究基于Massive Text Embedding Benchmark（MTEB）中的38个任务，使用四种基于Transformer的嵌入模型，系统评估了1D和2D分层表示分别与32位、8位和二进制量化组合的效果。每个任务涵盖168种配置，并分别报告理论每向量存储和端到端评估时间两个效率维度。

核心发现：int8量化几乎无损，二进制量化代价显著

研究采用Friedman检验和Nemenyi事后分析，得出以下关键结论：

• int8量化与float32在统计上不可区分（针对配对分类和重排序任务），整体性能损失最多1.5个百分点。这意味着在多数场景下，int8量化可以作为float32的实用替代方案。
• 二进制量化在所有任务类别中均显著更差。尽管二进制量化能带来极大的存储压缩，但精度损失不容忽视。

这一发现对实际部署具有指导意义：如果追求存储效率且能接受微小性能损失，int8是安全的选择；而二进制量化更适合对精度要求极低的场景。

量化（Quantization） 是将模型权重或激活值从高精度浮点数（如32位浮点，float32）转换为低精度表示（如8位整数int8或二进制）的技术，旨在减少存储和计算开销。int8量化将每个数值映射到-128至127的整数范围，通常采用线性缩放，精度损失较小；二进制量化则仅用1位表示（-1或+1），通过符号函数实现，压缩率极高但信息损失大。在嵌入模型中，量化作用于输出的向量元素，直接影响相似度计算的准确性。

分层降维的统计可检测性

分层表示允许通过减少嵌入维度来节省存储。研究发现：

• 将嵌入维度减半一次，在维度大于16（m>16）时，统计上无法检测到性能下降。
• 连续两次减半则总是能被统计检测到，即性能损失变得显著。

这表明，适度降维（一次减半）在多数情况下是安全的，但过度降维会带来可观测的性能损失。

分层表示（Hierarchical Representation） 指模型输出可变长度的嵌入向量，通常通过多级降维实现：1D分层表示沿单一维度缩减，2D则同时压缩两个维度。降维通过池化或投影操作减少向量维度，从而降低存储需求。例如，将768维向量减半至384维，可节省50%存储。但降维会损失信息，需权衡效率与精度。本研究中的“m>16”指降维后的维度阈值，超过该阈值时一次减半对性能影响统计不显著。

组合效果：32倍存储压缩，保留94.4%效果

当结合8倍降维和int8量化时，每向量存储减少32倍，而模型效果仍保持基线水平的94.4%。这是一个相当可观的效率提升，尤其适合大规模检索系统。

评估时间：量化并未加速，中间层采样更有效

研究还测量了端到端评估时间，但由于仅测量一次，作者将其视为指示性结果：

• 没有证据表明量化能加速评估。量化主要减少存储，对计算速度的影响有限。
• 从中间层采样能显著缩短评估时间。这为优化推理效率提供了另一条路径。

端到端评估时间 指从输入文本到输出嵌入向量的完整推理耗时，包括模型前向计算和可能的量化操作。量化主要减少存储和内存带宽需求，但若硬件不支持低精度加速（如CPU上的int8运算），计算速度可能无显著提升。中间层采样 指从Transformer的中间层（而非最后一层）提取嵌入，可减少计算量，因为后续层被跳过，从而缩短推理时间。

检索任务退化最快

研究特别指出，检索（retrieval）任务的性能退化速度远快于其他类别。因此，作者按任务类别分别报告结果，提醒研究者和工程师在应用这些效率技术时需针对不同任务类型谨慎评估。

检索任务（Retrieval） 要求模型从大规模语料中找出与查询最相关的文档，对嵌入的细微差异非常敏感。量化或降维引入的噪声会破坏向量间的相对距离，导致检索排名质量下降。相比之下，分类或重排序任务对局部扰动容忍度更高。因此，在检索场景应用效率技术时需更谨慎的评估。

实践启示

这项基准研究为文本嵌入的效率优化提供了数据驱动的权衡指南：

1. 优先考虑int8量化：在配对分类和重排序任务中几乎无损，整体损失不超过1.5个百分点。
2. 谨慎使用二进制量化：虽然存储压缩极大，但性能下降显著，需评估任务容忍度。
3. 一次降维安全，两次降维需谨慎：维度大于16时，一次减半统计不可检测，但两次减半会带来可观测损失。
4. 组合方案效果显著：8倍降维加int8量化实现32倍存储压缩，保留94.4%效果。
5. 检索任务需特别关注：退化最快，应用效率技术时应单独评估。

该研究强调，分层表示和量化是正交的技术，但它们的组合效果需要实证评估。在实际系统中，建议根据任务类型和精度要求选择合适的配置，并在部署前进行充分的基准测试。