Nunchi:用对话线索解决多人场景视线识别难题

Nunchi 框架用对话线索辅助视觉语言模型,显著提升多人场景视线目标识别准确率。
文章介绍了多人对话场景中视线目标识别的新方法。传统方法仅依赖头部姿态和眼球方向等几何信息,人数增多时指向性模糊。研究者构建了 SORBET 基准,包含 1,578 个视频片段、3,340 个样本,每样本配有同步语音、转录文本和被注视者标签,规模超过现有数据集。在此基础上提出 Nunchi 框架,将转录文本、视线模型和说话人模型的输出构建为文本提示,链接到候选者,由视觉语言模型动态权衡几何与语言线索。实验显示 Nunchi 比最强现有方法提升 4.8 个百分点,增益在三种 VLM 上一致,使用自动转录仍有效,而额外视觉线索无增益。
在多人对话场景中,判断一个人正在看谁,是理解对话互动的关键。然而,仅凭视线几何信息,当人数增多时,指向性会变得模糊不清。对话本身提供了几何信息所缺乏的线索,比如谁在说话、说了什么,但现有的视线数据集很少为多人场景提供这些同步信息。为此,研究者推出了 SORBET 基准和 Nunchi 框架,利用对话线索显著提升了视线目标识别的准确率。
视线几何的局限与对话线索的潜力
在多人交谈中,目光所向往往传递着重要的社交信号。传统的视线估计方法主要依赖头部姿态和眼球方向等几何信息,但当场景中人数较多时,不同人的视线方向可能在几何上难以区分,导致模型无法准确判断被注视的对象。例如,当两个人并肩站立时,他们的视线可能指向相近的方向,仅靠几何信息很难分辨目标。
对话中的语言线索——谁在发言、说了什么——为消歧提供了新的维度。听者通常会注视当前的说话者,而说话者也可能通过目光来指定下一个发言者。这些线索与视线几何形成互补,但如何有效整合它们是一个挑战。现有的视线数据集大多针对单人场景或人数较少的互动,缺乏多人场景下的同步语音、转录文本和被注视者标签。

SORBET:更大规模的多人视线基准
为了填补这一空白,研究者构建了 SORBET 基准,包含来自 1,578 个视频片段的 3,340 个样本,每个样本都配有同步的语音、转录文本和被注视者标签。与现有的视线数据集相比,SORBET 覆盖了更多的多人场景,为训练和评估能够利用对话线索的模型提供了数据基础。
SORBET 的构建过程涉及对视频中每个人物标注其被注视的目标,同时对齐语音和转录文本。这种多模态的标注方式使得研究者能够系统地分析对话线索对视线目标识别的影响。数据集中的场景多样化,涵盖了不同的对话情境和人数配置,有助于评估模型的泛化能力。
视线目标识别(Gaze Target Detection) 是计算机视觉中的一个子任务,目标是在图像或视频中判断画面里每个人正在注视的对象(可能是画面中的人、物体或画面外区域)。早期方法多基于头部姿态和眼球方向的几何计算,通过延长视线射线与场景中候选目标的包围盒进行匹配。然而在多人密集场景中,视线射线容易相交或指向相近区域,几何方法会产生歧义。引入对话上下文(谁在说话、语音内容)作为额外模态,本质上是把该任务从纯几何匹配转变为多模态推理问题,这也是近年该领域的主要趋势之一。
Nunchi 框架:让视觉语言模型权衡线索
面对多模态线索整合的难题,研究者提出了 Nunchi 框架。该框架的核心思路是将转录文本、视线模型和说话人模型的输出构建成文本提示,并将每个线索链接到具有共享标签的候选者,然后让视觉语言模型(VLM)来权衡视线几何与对话线索,最终识别被注视的人。
Nunchi 的工作流程可以概括为:首先,从对话中提取转录文本和说话人信息;同时,利用视线模型估计每个人的视线方向。接着,将这些信息转化为文本提示,其中每个线索都与特定候选者关联。最后,VLM 综合所有信息做出判断。这种设计允许模型在视线几何模糊时,更多地依赖对话线索,比如通过“谁在说话”来推断听者的注视目标。
你可能没注意到,Nunchi 并不依赖单一的线索类型,而是让 VLM 动态地权衡不同来源的信息。这避免了手工设计融合规则的局限性,也使得框架能够适应不同的场景和线索质量。
视觉语言模型(Vision-Language Model, VLM) 指同时具备图像理解与自然语言处理能力的大规模预训练模型,如 GPT-4V、LLaVA、InternVL 等。其典型工作方式是接收图像(或图像特征)与文本提示,输出自然语言形式的回答。Nunchi 的关键设计在于:它不直接把图像交给 VLM 做端到端预测,而是把视线模型、说话人模型的结构化输出“翻译”成文本提示,并让每个线索与候选者标签建立对应关系。这样 VLM 的推理过程相当于在多个候选者之间做基于证据的软投票,既利用了 VLM 的常识推理能力,又保留了传统模型的几何精度,避免了手工设计融合权重的脆弱性。
实验效果与关键发现
在 SORBET 基准上,Nunchi 相比最强的现有方法提升了 4.8 个百分点。这一提升证明了对话线索在多人视线目标识别中的价值。研究者还进行了消融实验,发现对话线索(如说话人身份和转录文本)对性能有显著帮助,而额外的视觉线索(如人脸关键点)并未带来增益。这表明,在多人场景中,语言信息比额外的视觉信息更能有效消歧。
此外,Nunchi 的增益在三种不同的 VLM 上均保持一致,说明该方法对模型选择具有鲁棒性。即使使用自动转录文本(而非人工标注的转录),性能提升依然存在,这降低了实际应用的门槛。在两个现有数据集上的实验也验证了 Nunchi 的泛化能力。
这些发现强调了多模态线索整合的重要性,尤其是语言线索在社交场景理解中的作用。未来,这种方法有望应用于人机交互、社交机器人等领域,使机器能够更准确地理解多人对话中的注意力分配。
消融实验(Ablation Study) 是机器学习论文中常用的分析手段:从完整系统中逐一移除某个组件或输入模态,观察性能变化,以此判断该组件是否真正贡献了增益。本文的消融结果表明,移除对话线索(说话人身份、转录文本)会导致性能明显下降,说明语言信息是主要收益来源;而加入人脸关键点等额外视觉特征后性能没有提升,反而可能引入噪声。这一结论对后续系统设计有直接指导意义——在多人视线任务中,应优先保证语音与转录的同步质量,而非堆叠更多几何特征。
未来展望
Nunchi 和 SORBET 为多人对话中的视线目标识别提供了新的思路和数据基础。尽管当前框架依赖于视觉语言模型,但随着模型能力的提升,对话线索的利用将更加充分。同时,如何扩展到更复杂的场景(如动态人群、远程对话)仍是值得探索的方向。研究者也指出,对话线索与视线几何的冲突处理是一个有趣的问题,需要进一步研究。
相关推荐

哈佛AI安全课程CS 2881R引热议
哈佛大学CS 2881R AI Safety课程在Hacker News被提及,本文介绍课程背景、AI安全的核心议题及对学习者的启示,帮助理解顶尖高校如何培养AI安全人才。

拓展社交圈:值得尝试的几款交友应用
交友应用怎么选?本文梳理朋友发现平台BFF与活动导向应用Timeleft等不同定位的友谊类应用,分析两类思路的适用人群,并给出线下见面安全与预期管理的实用建议。

为什么不该在个人电脑上运行Hermes智能体
为什么不应该在个人电脑上运行Hermes等自主AI智能体?本文从安全风险、资源占用、凭证泄露和自主性需求四个角度,分析为何应将智能体部署到独立VPS而非主力设备,并给出隔离部署的实践逻辑。