560M塔吉克语嵌入模型微调：Saidzoda-Tajik-E5-Large检索效果显著

在文档驱动的应用里，找到能回答问题的段落几乎是所有系统的第一步。然而对于塔吉克语，此前并没有公开描述过的检索模型。我们推出 Saidzoda-Tajik-E5-Large，一个基于 multilingual-e5-large-instruct（560M 参数）构建的塔吉克语文本嵌入模型。

为什么塔吉克语需要专属嵌入模型

塔吉克语使用西里尔字母，但字母系统与俄语存在差异，通用多语言模型往往在塔吉克语上表现平平。寻找能回答问题的段落是大多数文档系统的核心步骤，而此前没有公开的塔吉克语检索模型可供参考。我们决定自己动手，用一个多语言基座模型，针对塔吉克语进行微调。

文本嵌入模型将一段文本映射为固定维度的稠密向量，使语义相近的文本在向量空间中彼此靠近。检索时，系统把用户问题编码为向量，再与预先编码的文档段落向量计算余弦相似度，按得分排序取回最相关段落。这类模型通常基于 BERT 类编码器，用对比学习目标训练：让问题与正确段落的向量靠近，与错误段落的向量拉开。multilingual-e5-large-instruct 属于 E5 系列，其 instruct 变体要求在输入前加上任务描述前缀（如"为问题检索相关段落"），以提示模型按检索意图编码。560M 参数意味着它可在单张消费级 GPU 上推理，适合资源有限的语言场景。

训练数据与策略：让模型学会塔吉克语检索

我们用自己的塔吉克语语言模型为塔吉克语法律、税务文件、维基百科和网络文本中的段落生成问题，最终构建了 235,140 个问题-段落对，训练了一个 epoch。为了提升区分能力，我们使用另一个嵌入模型挑选难负例（hard negatives），并混入英语和俄语的问题-段落对，防止模型遗忘这两种语言。

难负例（hard negatives）指与问题语义相近、但并非正确答案的段落。随机负例往往与问题主题差异明显，模型很容易区分，难以学到细粒度判别能力；难负例则由一个较强的嵌入模型检索得到，通常是排名靠前但错误的候选，迫使模型学习更精细的边界。对比学习中，负例质量直接影响嵌入空间的区分度。常见做法是先用基座模型对语料做一次检索，取每个问题的 top-k 非正例段落作为难负例，再以 InfoNCE 等对比损失训练。混合英语和俄语数据则属于多语言防遗忘策略：若只用塔吉克语微调，模型可能发生灾难性遗忘，丧失原有的跨语言能力，混入多语种样本可缓解这一退化。

评测结果：法律与税务场景提升显著

在模型从未见过的法律文本上，93.6% 的问题能将正确段落排在前十位，而基线为 80.2%；在税务文件上，这一比例为 94.5%，基线为 82.6%。这些提升表明模型在专业领域检索上具有实用价值。

在 Belebele（我们唯一由人工编写的测试集）上，提升较小且未确认：从 92.2% 到 95.2%，置信区间有重叠。俄语和英语表现没有变化。

在与训练问题风格相同的法律和税务问题上，模型与 Giga-Embeddings-3B 打平，后者规模是它的五倍；在 Belebele 上，3B 和 8B 模型得分略高，但只有在我们用自己的数据微调它们之后，才明显领先。

Belebele 是一个多语言阅读理解基准，覆盖 100 多种语言，题目由母语者人工编写，因而被视为比合成数据更可信的评测来源。它原本用于衡量阅读理解能力，此处被借用来构造检索评测：给定问题，检验正确段落能否排进前若干位。置信区间重叠意味着两组得分的统计不确定性范围有交集，无法断言差异真实存在，通常因测试样本量偏小所致。top-10 检索准确率指正确段落出现在返回结果前十位的比例，是检索系统的常用指标；相比 top-1，它更贴近"把候选交给下游重排或阅读器"的实际用法。

失败经验与局限

我们同样报告失败尝试：使用 bfloat16 训练导致模型崩溃；将塔吉克语字母替换为相似的俄语字母并没有帮助。

我们的法律、税务和维基百科测试问题来自生成训练问题的同一个模型，因此我们将这些分数视为上限，直到有塔吉克语母语者编写的问题可用。

结论

Saidzoda-Tajik-E5-Large 是一个 560M 参数的塔吉克语嵌入模型，在法律和税务检索任务上大幅超越基线，并能与更大模型竞争。虽然人工测试集上的提升尚不显著，但模型为塔吉克语检索提供了可用的起点。