Saidzoda-CA-EmbeddingGemma-300M
基于 EmbeddingGemma-300M 微调的多语言嵌入模型,单一模型同时支持塔吉克语、哈萨克语、乌兹别克语和吉尔吉斯语四种中亚语言的语义检索
时间轴 (近 90 天)
Saidzoda-CA-EmbeddingGemma-300M 是一个在 EmbeddingGemma-300M 基础上微调得到的单一多语言嵌入模型,可同时服务塔吉克语、哈萨克语、乌兹别克语和吉尔吉斯语四种语言。
该微调模型的训练集包含 279,904 个问题-段落对,其中哈萨克语、乌兹别克语、吉尔吉斯语的问题由作者的语言模型针对源段落合成生成,并混入了塔吉克语复习数据和英语、俄语回放数据。
在 Belebele 数据集上,Saidzoda-CA-EmbeddingGemma-300M 对四种语言的 recall@1 提升了 14.4 到 26.0 个百分点,最终达到 75.2% 到 77.7%。
与同样设置下单独训练的单一语言模型相比,统一模型在哈萨克语、乌兹别克语和塔吉克语的 recall@1 上差距不超过 2.8 个百分点,且 recall@10 的置信区间有重叠。
统一模型在塔吉克语法律检索任务上的 recall@10 为 92.2,与起始模型的 92.4 基本持平,但 recall@1 下降了 4.4 个百分点。
统一模型在俄语和英语上的 recall@1 分别下降了 3.0 和 4.2 个百分点,这是多语言微调的常见代价。
全部知识事实 (6)
Saidzoda-CA-EmbeddingGemma-300M 是一个在 EmbeddingGemma-300M 基础上微调得到的单一多语言嵌入模型,可同时服务塔吉克语、哈萨克语、乌兹别克语和吉尔吉斯语四种语言。
50%待验证该微调模型的训练集包含 279,904 个问题-段落对,其中哈萨克语、乌兹别克语、吉尔吉斯语的问题由作者的语言模型针对源段落合成生成,并混入了塔吉克语复习数据和英语、俄语回放数据。
50%待验证在 Belebele 数据集上,Saidzoda-CA-EmbeddingGemma-300M 对四种语言的 recall@1 提升了 14.4 到 26.0 个百分点,最终达到 75.2% 到 77.7%。
50%待验证与同样设置下单独训练的单一语言模型相比,统一模型在哈萨克语、乌兹别克语和塔吉克语的 recall@1 上差距不超过 2.8 个百分点,且 recall@10 的置信区间有重叠。
50%待验证统一模型在塔吉克语法律检索任务上的 recall@10 为 92.2,与起始模型的 92.4 基本持平,但 recall@1 下降了 4.4 个百分点。
50%待验证统一模型在俄语和英语上的 recall@1 分别下降了 3.0 和 4.2 个百分点,这是多语言微调的常见代价。
50%