告别关键词检索：阿拉伯语焦虑话语基准数据集发布

关键词检索能找出所有包含“焦虑”一词的帖子，但其中有多少真正在表达个人焦虑？一项新发布的人标注基准数据集给出了答案，并揭示了一个常被忽视的问题：标注者的一致意见也需要审查。

关键词检索的局限与基准构建

在社交媒体研究中，用关键词抓取相关话语是常见做法。然而，以阿拉伯语关键词“qalaq”（意为焦虑/担忧）检索Twitter/X，返回的结果混杂着个人焦虑表达、社会政治焦虑讨论，以及其他与焦虑无关的用法。仅凭关键词，研究者无法区分这些不同的语境。

为此，研究者构建了一个包含1,000条阿拉伯语推文的基准数据集，所有推文均通过“qalaq”关键词检索获得，并由标注者按照六种话语功能进行分类。两位母语为阿拉伯语的标注者独立标注了每一条推文，原始一致率为51.1%，Cohen's κ为0.378。这一数字本身并不高，说明即使是母语者，对“焦虑”话语的界定也存在分歧。

一致性审查：被忽视的标注质量环节

研究团队没有止步于计算标注者间一致性。他们进一步审查了全部489条分歧样本和511条一致样本，依据同一套标注指南重新审视。结果发现，在原本一致的标签中，有120条（23.5%）在审查后被更改。也就是说，标注者“一致同意”的标签中，近四分之一实际上是错误的。

这一发现挑战了标注质量评估的常规做法。通常，研究者只关注分歧样本的仲裁，而默认一致样本是可靠的。该研究表明，一致意见同样需要审计——标注者可能共享同样的误解或疏忽。经过审查后，最终标签形成了共识参考标准。在200条随机抽样的推文上，另一位标注者与该共识的一致性为60.5%（κ=0.517）。

Cohen's κ 是衡量两名标注者之间一致性的统计指标，取值通常在 -1 到 1 之间，它校正了随机一致的可能性。一般认为 κ 值低于 0.4 表示一致性较差，0.4-0.6 为中等，0.6-0.8 为较好，0.8 以上为极好。本文中原始 κ=0.378 属于较差水平，说明标注任务本身存在较大主观性，这也为后续审查一致样本的必要性埋下了伏笔。

宏平均 F1（Macro-averaged F1） 是分类任务中常用的综合评价指标。它先分别计算每个类别的精确率和召回率，得到各类的 F1 值，再对所有类别取算术平均。与微平均不同，宏平均赋予每个类别相同权重，因此能更敏感地反映模型在少数类或难分类别上的表现。本文中宏平均 F1 为 0.784，而残余类别的低召回率会拉低这一数值，提示模型在类别不均衡场景下的短板。

模型表现与错误归因

有了共识参考标准，研究者评估了大型语言模型在阿拉伯语焦虑话语分类上的表现。Fanar-C-2-27B模型达到了79.8%的准确率和0.784的宏平均F1值（κ=0.749）。这个成绩看起来不错，但错误分析揭示了更深层的问题。

模型的错误集中在“残余类别”（residual category）上，该类别占所有错误的41.1%，精确率为0.905，但召回率仅为0.447。说个细节，研究团队指出，残余类别的定义在实际执行的提示词中存在内部不一致，因此低召回率不能完全归咎于模型本身。这一坦诚的归因对基准测试的公平性至关重要：当类别定义本身模糊时，模型的“错误”可能反映的是任务设计的缺陷。

Fanar-C-2-27B 是由卡塔尔计算研究所（QCRI）开发的阿拉伯语大语言模型，属于 Fanar 系列，参数规模为 270 亿。该模型专门针对阿拉伯语进行优化，在阿拉伯语自然语言理解与生成任务上表现突出，常被用作阿拉伯语 NLP 研究的基线模型。本文选择它作为评估对象，既体现了对阿拉伯语特定模型的关注，也便于与通用多语言模型进行对比。

焦虑话语的构成：社会政治焦虑居首

从标注分布来看，社会政治焦虑（Sociopolitical Anxiety）占样本的27.1%，高于个人情感表达（Personal Emotional Expression）的22.0%。这一比例反映了在阿拉伯语Twitter/X环境中，以“焦虑”为关键词的讨论更多涉及社会政治议题，而非单纯的个人情绪宣泄。

需要强调的是，这些数字是样本中的分配比例，并非对总体流行率或检索精确率的估计。研究者明确表示，不能将这些比例外推为阿拉伯语社交媒体上焦虑话语的真实分布。

开源贡献与可复现性

该研究释放了多项资源以支持后续工作：标注指南、残余子类型方案、固定的数据划分、标签来源记录以及评估代码。这些材料的公开，使得其他研究者可以在相同基准上比较不同模型的表现，也便于复现和审计标注过程。

对于关注阿拉伯语NLP或多语言话语分析的研究者而言，这个基准的价值不仅在于数据本身，更在于它示范了一套更严谨的标注质量保障流程——从独立标注到一致性审查，再到共识参考标准的建立，每一步都留下了可追溯的记录。

在关键词检索仍然主导社交媒体研究的当下，这项工作的核心提醒是：检索到的文本不等于目标话语，而标注者的一致同意也不等于正确。两者都需要被认真对待。