[控场AI]
基准MISO-BR 语料库

MISO-BR

巴西葡萄牙语厌女检测开放语料库,包含896条标注社交媒体文本、构建协议、标注指南、模型和实验脚本,强调可审计性和可复现性。

时间轴 (近 90 天)

11月11日

MISO-BR 包含 896 条均衡的社交媒体文本,全部标注为二元厌女标签。

待验证50%
11月11日

三位标注者依据书面指南在 816 条数据上达到 Fleiss' kappa 0.788 的一致性。

待验证50%
11月11日

MISO-BR 的构建结合了针对 X 平台的词典引导与目标引导抓取,并引入了来自 OLID-BR 的条目。

待验证50%
11月11日

MISO-BR 在采集后经过一个大型语言模型分诊阶段,该阶段的提示词与解码参数同样公开。

待验证50%
11月11日

在统一固定协议下,经典分类器(多项式与伯努利朴素贝叶斯、线性 SVM、随机森林)的 macro-F1 集中在 0.651 到 0.676 之间。

待验证50%
11月11日

微调后的 BERTimbau 模型达到 0.833 的 macro-F1 与准确率,准确率的 Wilson 95% 置信区间为 [0.77, 0.88]。

待验证50%
11月11日

MISO-BR 作者明确列出三点限制:人工类别均衡、来源与标签的关联、词典引导采样与自动分诊带来的选择偏差。

待验证50%
11月11日

MISO-BR 的语料、标注指南、模型与实验脚本均已公开可获取。

待验证50%

全部知识事实 (8)

来源文章