Yalda-Embedding：开源波斯语检索模型的突破

多语言文本表示虽已取得显著进展，但波斯语的稠密检索仍受限于语言特定训练资源和紧凑嵌入模型的稀缺。Yalda Embedding 的发布为这一空白提供了新的解决方案——一个拥有 5.958 亿参数的波斯语检索模型，基于 Qwen3-Embedding-0.6B 微调，使用超过一百万对查询-文档数据训练而成。

Yalda-Embedding 项目来源

模型架构与训练策略

Yalda Embedding 从 Qwen3-Embedding-0.6B 初始化，通过对比学习进行微调。研究团队在 FaMTEB 的八个波斯语检索任务上评估模型性能，并进行了增量消融实验，考察对比批次大小、优化稳定化以及来自 F2LLM-v2-8B 的关系知识蒸馏的影响。

在单轮训练设置下，仅对比微调相比初始化带来 modest 的平均提升，但在两个任务上出现退步。而最终的蒸馏配置在所有八个任务上均优于非蒸馏模型，平均分从 0.4813 提升至 0.5488，且不增加推理时的模型大小。你可能没注意到，这些提升包括困难负样本评估任务，尽管训练中并未显式挖掘或提供困难负样本。

对比学习与对比批次大小

对比学习是稠密检索模型微调的核心范式：它将查询与其正样本文档在向量空间中拉近，同时将查询与批次内其他文档（负样本）推远。批次大小在此过程中起关键作用——批次越大，每个查询能接触到的负样本越多，梯度信号越丰富，模型学到的表示判别力越强。因此，增大对比批次大小通常能提升检索性能，但也对显存和分布式训练提出更高要求。Yalda Embedding 的消融实验专门考察了这一因素，说明批次大小是影响小模型微调效果的重要超参数。

关系知识蒸馏

知识蒸馏在检索模型中的常见做法是让小型学生模型模仿大型教师模型输出的相似度分布或嵌入向量。关系知识蒸馏（relational knowledge distillation）更进一步：它不要求学生逐维复现教师的嵌入，而是学习教师模型中样本之间的相对关系结构，例如查询与各文档之间的相似度排序或距离关系。这种方式对维度或空间尺度差异更宽容，尤其适合学生模型与教师模型规模差距较大的场景。Yalda Embedding 从 F2LLM-v2-8B 蒸馏，正属于这种“大教师、小学生”的配置。

性能表现：领先同规模模型

在八个波斯语检索任务上，Yalda Embedding 在评估的 0.6B 模型中取得了最高的宏平均分 0.5488，在每个任务上都超过了 Qwen3-Embedding-0.6B 和 F2LLM-v2-0.6B。该模型还接近 Qwen3-Embedding-4B 的表现，在四个任务上胜出，一个任务持平，宏平均仅落后 0.0075。

这一结果表明，通过精心设计的微调和蒸馏策略，小规模模型能够在特定语言任务上达到接近更大模型的性能，同时保持推理效率。

宏平均分与困难负样本

宏平均分（macro-average）是对每个任务先单独计算指标（如 nDCG@10），再对各任务得分取不加权平均。与按查询数加权的微平均相比，宏平均赋予每个任务同等权重，能避免某一任务因样本量大而主导总分，更适合衡量模型在多任务上的均衡表现。困难负样本指与查询语义相近、但并非正确答案的文档；模型若无法区分它们，就容易在真实检索场景中出错。Yalda Embedding 在未显式挖掘困难负样本训练的情况下，仍在困难负样本评估任务上取得提升，说明蒸馏带来的表示改进具有较好的泛化性。

开源生态与可复现性

研究团队发布了模型权重、训练与评估代码、成对数据集及其教师嵌入对应版本，使数据组成和训练过程可被检查，支持独立评估和复用，避免重复昂贵的教师推理。这种开放开发模式有助于推动波斯语检索研究的进一步发展，并为其他低资源语言提供可借鉴的范式。

关键要点

Yalda Embedding 是一个 5.958 亿参数的波斯语检索模型，基于 Qwen3-Embedding-0.6B 微调，使用超百万查询-文档对训练。
在八个波斯语检索任务上，其宏平均分 0.5488 为同规模模型最高，全面超越 Qwen3-Embedding-0.6B 和 F2LLM-v2-0.6B。
知识蒸馏策略将平均分从 0.4813 提升至 0.5488，且不增加推理模型大小。
模型权重、代码和数据集全部开源，支持可复现研究和独立评估。

背景补充

FaMTEB 与 F2LLM-v2

FaMTEB 是波斯语版本的 MTEB（Massive Text Embedding Benchmark），汇集了多种波斯语嵌入评测任务，其中检索类任务用于衡量模型在查询-文档匹配上的能力。Yalda Embedding 选取其中八个波斯语检索任务作为主要评测集。F2LLM-v2 则是一个多语言嵌入模型系列，文中出现的 F2LLM-v2-0.6B 是同规模对比基线，F2LLM-v2-8B 则作为知识蒸馏的教师模型。理解这两个名称有助于把握实验的对比框架：学生模型在同等规模中竞争，同时向更大规模的教师学习。