Social Signal Bench:用证据加权F1评估共现社交信号

Social Signal Bench 提出共现社交信号基准与证据加权F1,7B开源模型经后训练表现亮眼。
现有情感计算基准多评估单一社交信号,传统多标签F1忽略语义关联与标注分歧。Social Signal Bench 包含视频(25小时,十种信号)和音频(22小时,六种信号)两个数据集,各配公开训练集(10小时专家标注+伪标签)与私有专家测试集,覆盖四个对话领域。作者提出证据加权F1(EW-F1),根据标注证据加权参考标签并对语义相关预测给予分级信用,受控实验表明其能区分语义相关与无关错误。在共享协议下,经该基准后训练的7B开源模型在视频任务上优于通用前沿模型,音频任务持平,显示专业化训练对小模型的有效性。
现有情感计算基准很少评估对话中同时出现的社交信号,传统多标签F1也忽略了语义关联与标注分歧。Social Signal Bench 的提出,正是为了填补这一空白。
为什么需要新的社交信号基准
社交信号如兴趣、犹豫等,往往依赖上下文行为来解读,并且可能在对话中同时出现。但主流基准通常只评估单一信号,且用多标签F1衡量时,无法区分语义相关的错误与无关错误。Social Signal Bench 包含两个数据集:视频版25小时,覆盖视听记录中的十种社交信号;音频版22小时,覆盖纯音频中的六种信号。每个数据集都配有一个公开训练集(在线对话视频,其中10小时为专家标注,其余为伪标签)和一个私有专家标注测试集,覆盖四个对话领域。

社交信号(Social Signals) 指对话中传递态度、情绪和意图的非语言或副语言线索,如兴趣、犹豫、赞同、困惑等。它们通常不是孤立出现的,而是通过面部表情、眼神、点头、语音语调、停顿等多模态行为共同表达,且同一时刻可能同时出现多种信号(即“共现”)。情感计算领域早期工作多聚焦于单一模态(如面部表情识别)或单一信号检测,而真实对话中的社交信号具有多标签、上下文依赖和标注主观性三大特点,这使得传统单标签分类范式难以直接适用。
EW-F1:让评估更贴近语义
针对传统F1的缺陷,作者提出证据加权F1(EW-F1)。它根据标注者证据为参考标签加权,并通过每个片段的最优匹配,对语义相关的预测给予分级信用。受控扰动实验表明,EW-F1能区分语义相关错误与无关错误,而传统F1做不到。这意味着评估结果更能反映模型对社交信号的真实理解。
多标签F1(Multi-label F1) 是评估多标签分类的常用指标,它分别计算每个标签的精确率与召回率后取平均(macro-F1)或按样本平均(micro-F1)。然而在多标签场景下,不同标签之间可能存在语义关联(如“犹豫”与“困惑”常同时出现),模型将“犹豫”误判为“困惑”与误判为“兴趣”在语义上并不等价,但传统F1对所有错误一视同仁地计为假阳性/假阴性,无法体现这种语义层级差异。此外,当多个标注者对同一片段存在分歧时,传统F1通常取多数投票或单一金标准,丢弃了标注不确定性信息。EW-F1正是针对这两点缺陷设计的。
证据加权(Evidence Weighting) 是一种处理标注分歧的标签聚合策略。与多数投票不同,它根据每个标注者提供的证据(如标注置信度、标注一致性、标注者可靠性)为参考标签赋予连续权重,从而保留“部分正确”的信息。在EW-F1中,参考标签不再是0/1硬标签,而是带权重的软标签;预测结果通过与每个片段的最优匹配获得分级信用——语义相近的预测获得部分分数,语义无关的预测不得分。这种方法使评估指标对标注主观性更鲁棒,也更贴近人类对社交信号的理解。
7B开源模型表现亮眼
在共享评估协议下,经过Social Signal Bench后训练的7B开源模型,在视频任务上优于通用前沿模型,在音频任务上与前沿模型持平。这一结果说明,针对社交信号的专业化训练能显著提升小模型的表现。
后训练(Post-training) 指在预训练基础模型之上,通过领域数据继续进行有监督微调或指令微调,使模型适配特定任务。本文中,7B开源模型在Social Signal Bench的训练集上进行后训练,学习识别共现社交信号。与通用前沿模型(如GPT-4V等)相比,后训练使小模型在特定领域获得专业化优势:视频任务上超越通用前沿模型,音频任务上持平。这表明,对于社交信号这类细粒度、上下文敏感的任务,高质量领域数据加针对性后训练可能比单纯扩大模型规模更有效。
多源视角
据B站UP主和YouTube频道的分析,该基准的密集标注和证据加权思路,为情感计算评估提供了新方向。尽管不同来源对具体方法的评价存在分歧,但共识在于:共现社交信号的评估需要更精细的度量。
结语
Social Signal Bench 不仅提供了高质量数据,还引入了更合理的评估指标,推动社交信号识别走向更实用的阶段。
相关推荐

FBI紧急预警:自主AI黑客工具如何以机器速度攻破网络
FBI发布紧急警报,点名开源AI攻击框架Artex可用大模型把一句大白话变成完整入侵链,三小时内攻破关键行业网络。本文梳理三阶段攻击机制、开源代码失控的现实,以及FBI建议的SIEM情报导入、云端最小权限、遗留资产补丁三项加固措施。

Gemini 4 Hydrogen跑分全解析:编程与AI代理性能
Google Gemini 4 Hydrogen 基准跑分全解析:SWE-bench 13.5%、Terminal Bench 57%、OS World 77.6%、Automation Bench 76.76%,百万 token 上下文,API 每百万输入 token 1.5 美元起,编程与 AI 代理能力深度解读。

FBI警告ARTEX AI:3小时攻破企业,单兵作战时代来临
FBI发布13页预警,揭示开源渗透测试工具ARTEX AI被攻击者滥用。单个操作员借助廉价大模型可在3小时内攻破企业,韩国银行、微软客户环境均受影响。本文解析其工作原理、真实案例与防御建议。