Belebele
覆盖100多种语言的多语言阅读理解基准,题目由母语者人工编写,常被借用于检索评测
时间轴 (近 90 天)
最终模型在Belebele达罗毗荼语评测上平均得分为17.18%,最佳成绩为25.00%。
未经微调的 EmbeddingGemma-300M 在 Belebele 数据集上对塔吉克语、哈萨克语、乌兹别克语和吉尔吉斯语的 recall@1 仅为 51.7% 到 60.8%。
在 Belebele 数据集上,Saidzoda-CA-EmbeddingGemma-300M 对四种语言的 recall@1 提升了 14.4 到 26.0 个百分点,最终达到 75.2% 到 77.7%。
Belebele 是一个覆盖 122 种语言的多语言阅读理解数据集,每个问题配有四个候选段落,常用于评估多语言嵌入模型的跨语言检索能力。
在 Belebele 测试集上,Saidzoda-Tajik-E5-Large 的 top-10 检索准确率从基线的 92.2% 提升到 95.2%,但置信区间有重叠。
全部知识事实 (5)
最终模型在Belebele达罗毗荼语评测上平均得分为17.18%,最佳成绩为25.00%。
50%待验证未经微调的 EmbeddingGemma-300M 在 Belebele 数据集上对塔吉克语、哈萨克语、乌兹别克语和吉尔吉斯语的 recall@1 仅为 51.7% 到 60.8%。
50%待验证在 Belebele 数据集上,Saidzoda-CA-EmbeddingGemma-300M 对四种语言的 recall@1 提升了 14.4 到 26.0 个百分点,最终达到 75.2% 到 77.7%。
50%待验证Belebele 是一个覆盖 122 种语言的多语言阅读理解数据集,每个问题配有四个候选段落,常用于评估多语言嵌入模型的跨语言检索能力。
50%待验证在 Belebele 测试集上,Saidzoda-Tajik-E5-Large 的 top-10 检索准确率从基线的 92.2% 提升到 95.2%,但置信区间有重叠。
50%