超越语义搜索：探索嵌入模型的趣味实验指南

为什么要跳出语义搜索看嵌入模型

嵌入模型（Embedding Models）在当下的 AI 应用中几乎无处不在，从检索增强生成（RAG）到推荐系统，它们都扮演着关键角色。但大多数开发者对嵌入模型的理解仅停留在"把文本变成向量，再算余弦相似度做语义搜索"这一层面。

一位 Reddit 用户在社区发问：除了语义搜索之外，还有哪些有趣的实验可以帮助真正理解嵌入模型？这个问题切中要害——嵌入向量本质上是模型对语言、概念乃至世界的一种压缩表示，其中蕴含的信息远比"找相似文本"要丰富得多。

本文将基于这一问题，梳理一系列可以亲手动手尝试的实验方向，帮助你从更深层次理解这些高维向量到底捕捉了什么。

向量算术：探索语义的方向性

最经典也最直观的实验，莫过于验证嵌入空间中的"向量算术"。词向量时代有一个著名的例子：king - man + woman ≈ queen。你可以用现代句向量模型重现类似的实验，观察模型是否在空间中保留了可组合的语义关系。

可以尝试的操作

• 计算"巴黎 - 法国 + 日本"的结果向量，看它是否接近"东京"
• 比较不同模型（如 OpenAI 的 text-embedding、BGE、E5 等）在相同算术任务上的表现差异
• 测试这种关系在短语和整句层面是否依然成立

这类实验能直观揭示嵌入空间的几何结构，以及模型是否真正学到了可迁移的语义方向，而不仅仅是表面词汇匹配。

聚类与可视化：看见高维空间的结构

嵌入向量通常是几百甚至上千维，人类无法直接感知。借助降维技术（如 t-SNE、UMAP、PCA）将其投影到二维或三维平面，可以直观地观察数据如何在空间中聚集。

一个有价值的实验是：收集来自不同领域（新闻、代码、诗歌、法律文书）的文本，嵌入后进行聚类，观察模型是否能自发地将同类内容归拢在一起。你会发现，不同模型对领域边界的"敏感度"差异很大。

进一步，可以尝试对聚类中心做反向分析——提取每个簇的典型样本，理解模型究竟是按主题、风格还是句法结构在组织空间。

各向异性与分布特性

一个常被忽视但极具研究价值的方向是嵌入空间的"各向异性"（Anisotropy）。研究表明，许多预训练模型产生的向量并非均匀分布在空间中，而是挤在一个狭窄的锥形区域内。这会直接影响相似度计算的可靠性。

实验建议

• 随机采样大量无关文本，计算它们两两之间的余弦相似度分布。如果大量随机文本的相似度都偏高（例如集中在 0.6 以上），说明空间存在明显各向异性
• 对比做过白化（whitening）或归一化处理前后的相似度分布变化
• 测试这种现象对下游检索质量的影响

理解这一点，能帮你解释为什么有时"看似不相关的文本"却得到了很高的相似度分数。

各向异性问题的根源在于预训练语言模型（如 BERT 系列）的训练目标和架构设计。模型在训练过程中倾向于将高频词和通用语义集中在某些特定方向上，导致输出向量在高维空间中并非均匀分散，而是朝同一方向"坍缩"。学术界通常用"有效维度秩"（Effective Rank）来量化这种现象——一个各向同性的理想嵌入空间应当充分利用所有维度，而实际模型往往只激活其中一小部分。

针对这一问题，常见的工程缓解手段包括：后处理白化（Whitening）将分布变换为零均值单位协方差，以及 BERT-flow、BERT-whitening 等专门方法。值得注意的是，即便是经过指令微调或对比学习优化的现代嵌入模型（如 BGE、E5），各向异性问题也并未完全消除，只是程度有所改善。在高精度检索场景下，了解目标模型的各向异性程度，是选型和调优时不可忽略的前置条件。

跨语言与跨模态对齐

多语言嵌入模型声称能将不同语言的同义文本映射到相近的向量位置。你可以亲自验证：用同一句话的多种语言版本做嵌入，检查它们在空间中的距离是否足够接近。

这个实验不仅能检验模型的跨语言能力，还能暴露其在低资源语言上的短板。类似地，如果使用的是多模态嵌入模型（如 CLIP），可以测试图像与其文字描述是否真正对齐。

CLIP（Contrastive Language-Image Pretraining）是 OpenAI 于 2021 年提出的多模态模型，通过对比学习将图像编码器与文本编码器联合训练，使同一概念的图像和文字描述在共享向量空间中彼此靠近。这种对齐并非完美——模型在训练集中高频出现的物体和场景上表现优秀，但在抽象概念、文化特定意象或细粒度属性（如"左边的红色杯子"）上往往对齐失效。

多语言嵌入模型（如 mBERT、LaBSE、multilingual-E5）则通过在多语言平行语料上训练，将不同语言的文本映射到同一空间。实验时可重点测试语言对之间的对称性：中译英与英译中的嵌入距离是否一致，以及模型在中文、英文、法语等高资源语言与斯瓦希里语、泰米尔语等低资源语言之间的对齐质量差距，往往能揭示出明显的性能断层。

鲁棒性与对抗性探测

想真正摸清一个嵌入模型的"脾气"，鲁棒性测试不可或缺：

• 扰动测试：对输入文本做微小改动（加标点、改大小写、插入拼写错误），观察向量变化幅度。稳定的模型应对无意义扰动不敏感
• 否定测试："我喜欢这部电影"和"我不喜欢这部电影"在向量空间中距离有多远？许多模型对否定词的处理相当薄弱，这是一个值得深挖的弱点
• 长度偏差：相同内容的长短版本是否被映射到相似位置，还是文本长度本身在主导向量

这些实验能帮助你在实际部署前识别模型的失效模式，避免在生产环境中踩坑。

否定处理的薄弱是嵌入模型一个系统性缺陷，根本原因在于主流训练目标（如掩码语言模型、对比学习）并不显式要求模型区分语义正反。在向量空间中，"喜欢"和"不喜欢"共享了大量词汇上下文，模型往往将两者编码到相距很近的位置。这在情感分析、事实核查等对否定敏感的下游任务中会造成严重误判。

扰动测试的设计可以参考 NLP 鲁棒性评测基准（如 CheckList、AdvGLUE）的思路，将扰动分为三类：字符级（拼写错误、同音替换）、词汇级（同义词替换、词序调整）和语义级（改写保意）。一个工程上可靠的模型，应在字符级和词汇级扰动下向量变化极小，在语义级改写下向量高度相似，而在实质语义变化（如否定）时产生可感知的距离变化。系统地记录不同模型在这三类扰动下的表现差异，是建立模型选型直觉的高效路径。

实践建议：从动手实验到工程直觉

理解嵌入模型最有效的方式，就是把它当作一个可以反复探测的黑盒去实验。建议从一个具体数据集出发，固定一两个模型，系统地跑完上述几类实验，并把结果记录下来做横向对比。

这些实验的真正价值不在于得出标准答案，而在于培养对向量空间的工程直觉——当你的 RAG 系统召回了奇怪的结果，或推荐系统给出莫名其妙的推荐时，你能更快定位到是模型本身的特性所致，还是数据或流程的问题。

嵌入模型远不止语义搜索这一个用途，它是现代 AI 系统理解世界的底层表示。花时间去探索它的边界，收益会体现在你构建的每一个应用中。