[控场AI]
模型Tajik-E5-Large

Saidzoda-Tajik-E5-Large

基于 multilingual-e5-large-instruct 微调的塔吉克语文本嵌入模型,用于塔吉克语文档检索,支持单张消费级GPU推理

时间轴 (近 90 天)

11月3日

Saidzoda-Tajik-E5-Large 是一个基于 multilingual-e5-large-instruct(560M 参数)构建的塔吉克语文本嵌入模型。

待验证50%
11月3日

在推出 Saidzoda-Tajik-E5-Large 之前,没有公开描述过的塔吉克语检索模型。

待验证50%
11月3日

560M 参数的模型可在单张消费级 GPU 上推理。

待验证50%
11月3日

训练数据包含 235,140 个问题-段落对,训练了一个 epoch。

待验证50%
11月3日

训练时使用另一个嵌入模型挑选难负例(hard negatives),并混入英语和俄语的问题-段落对以防止模型遗忘这两种语言。

待验证50%
11月3日

在模型从未见过的法律文本上,93.6% 的问题能将正确段落排在前十位,而基线为 80.2%。

待验证50%
11月3日

在税务文件上,94.5% 的问题能将正确段落排在前十位,基线为 82.6%。

待验证50%
11月3日

在 Belebele 测试集上,Saidzoda-Tajik-E5-Large 的 top-10 检索准确率从基线的 92.2% 提升到 95.2%,但置信区间有重叠。

待验证50%
11月3日

在与训练问题风格相同的法律和税务问题上,Saidzoda-Tajik-E5-Large 与 Giga-Embeddings-3B 打平。

待验证50%
11月3日

使用 bfloat16 训练导致模型崩溃。

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

来源文章