DAR-MGSM

DAR-MGSM 是一个用于评估大型语言模型在阿拉伯方言数学应用题上表现的基准测试。

DAR-MGSM 包含两个平行版本：翻译版（仅将数学题翻译为方言和MSA）和翻译并文化本地化版（替换人名、货币、单位等实体为地区常见表达）。

在 DAR-MGSM 上评测了十一款以阿拉伯语为中心和多语言的大模型。

DAR-MGSM 提供了一个可复用的评测范式：在低资源语言上评估推理能力时，语言变体和文化语境应作为独立维度被测量。