BDBBQ
BDBBQ 是一个双语社会偏见评测基准,覆盖英语和孟加拉语,包含 61,312 个问答实例和 12 个社会类别,旨在评估大语言模型在孟加拉语社会文化语境下的偏见表现。
时间轴 (近 90 天)
BDBBQ 基准包含 61,312 个问答实例,覆盖英语和孟加拉语两种语言、12 个社会类别。
BDBBQ 被设计为 BanglaBBQ 的双语扩展,而不是简单翻译。
BDBBQ 数据质量验证中,四位标注者对 150 个实例进行专家标注,标注者间一致性达到 Fleiss' κ=0.8349。
在消歧上下文中,孟加拉语的准确率提升幅度为 +36.59 个百分点,英语为 +17.71 个百分点。
八个评估模型在孟加拉语上的准确率普遍低于英语,跨语言准确率差距最小的是 Mistral-Nemo,差距为 5.12 个百分点。
在孟加拉语下,Gemma 2 9B 的刻板印象对齐偏见上升,而 Mistral-Nemo 的偏见则下降。
论文明确指出,更高的准确率并不必然对应更低的刻板印象对齐偏见。
Qwen 2.5 7B 在孟加拉语下,于政治(Politics)和外貌(Physical Appearance)两个类别表现出更强的刻板印象对齐。
刻板印象对齐偏见衡量模型输出在多大程度上与社会既有刻板印象保持一致,该指标与准确率正交,BDBBQ 将其作为独立维度报告。
有观点认为,150 个实例的专家标注规模相对整体数据量偏小,类别层面的结论仍需更多验证。
还有 1 条时间轴事件
全部知识事实 (11)
BDBBQ 基准包含 61,312 个问答实例,覆盖英语和孟加拉语两种语言、12 个社会类别。
50%待验证BDBBQ 被设计为 BanglaBBQ 的双语扩展,而不是简单翻译。
50%待验证BDBBQ 数据质量验证中,四位标注者对 150 个实例进行专家标注,标注者间一致性达到 Fleiss' κ=0.8349。
50%待验证在消歧上下文中,孟加拉语的准确率提升幅度为 +36.59 个百分点,英语为 +17.71 个百分点。
50%待验证八个评估模型在孟加拉语上的准确率普遍低于英语,跨语言准确率差距最小的是 Mistral-Nemo,差距为 5.12 个百分点。
50%待验证在孟加拉语下,Gemma 2 9B 的刻板印象对齐偏见上升,而 Mistral-Nemo 的偏见则下降。
50%待验证论文明确指出,更高的准确率并不必然对应更低的刻板印象对齐偏见。
50%待验证Qwen 2.5 7B 在孟加拉语下,于政治(Politics)和外貌(Physical Appearance)两个类别表现出更强的刻板印象对齐。
50%待验证刻板印象对齐偏见衡量模型输出在多大程度上与社会既有刻板印象保持一致,该指标与准确率正交,BDBBQ 将其作为独立维度报告。
50%待验证有观点认为,150 个实例的专家标注规模相对整体数据量偏小,类别层面的结论仍需更多验证。
50%待验证论文的核心主张是:跨语言性能和社会偏见是 LLM 行为的两个独立维度,英文中心的公平性评测不足以支撑全球部署的模型。
50%