Saidzoda-Tajik-E5-Large
基于 multilingual-e5-large-instruct 微调的塔吉克语文本嵌入模型,用于塔吉克语文档检索,支持单张消费级GPU推理
时间轴 (近 90 天)
Saidzoda-Tajik-E5-Large 是一个基于 multilingual-e5-large-instruct(560M 参数)构建的塔吉克语文本嵌入模型。
在推出 Saidzoda-Tajik-E5-Large 之前,没有公开描述过的塔吉克语检索模型。
560M 参数的模型可在单张消费级 GPU 上推理。
训练数据包含 235,140 个问题-段落对,训练了一个 epoch。
训练时使用另一个嵌入模型挑选难负例(hard negatives),并混入英语和俄语的问题-段落对以防止模型遗忘这两种语言。
在模型从未见过的法律文本上,93.6% 的问题能将正确段落排在前十位,而基线为 80.2%。
在税务文件上,94.5% 的问题能将正确段落排在前十位,基线为 82.6%。
在 Belebele 测试集上,Saidzoda-Tajik-E5-Large 的 top-10 检索准确率从基线的 92.2% 提升到 95.2%,但置信区间有重叠。
在与训练问题风格相同的法律和税务问题上,Saidzoda-Tajik-E5-Large 与 Giga-Embeddings-3B 打平。
使用 bfloat16 训练导致模型崩溃。
还有 1 条时间轴事件
全部知识事实 (11)
Saidzoda-Tajik-E5-Large 是一个基于 multilingual-e5-large-instruct(560M 参数)构建的塔吉克语文本嵌入模型。
50%待验证在推出 Saidzoda-Tajik-E5-Large 之前,没有公开描述过的塔吉克语检索模型。
50%待验证560M 参数的模型可在单张消费级 GPU 上推理。
50%待验证训练数据包含 235,140 个问题-段落对,训练了一个 epoch。
50%待验证训练时使用另一个嵌入模型挑选难负例(hard negatives),并混入英语和俄语的问题-段落对以防止模型遗忘这两种语言。
50%待验证在模型从未见过的法律文本上,93.6% 的问题能将正确段落排在前十位,而基线为 80.2%。
50%待验证在税务文件上,94.5% 的问题能将正确段落排在前十位,基线为 82.6%。
50%待验证在 Belebele 测试集上,Saidzoda-Tajik-E5-Large 的 top-10 检索准确率从基线的 92.2% 提升到 95.2%,但置信区间有重叠。
50%待验证在与训练问题风格相同的法律和税务问题上,Saidzoda-Tajik-E5-Large 与 Giga-Embeddings-3B 打平。
50%待验证使用 bfloat16 训练导致模型崩溃。
50%待验证法律、税务和维基百科测试问题来自生成训练问题的同一个模型,因此这些分数应被视为上限。
50%