DiscoSign:让手语翻译理解篇章语境的新框架

DiscoSign将手语翻译从句子级推进到篇章级,显式建模空间指代与问答从句等手语特有语篇现象。
主流手语翻译系统以单句为处理单位,无法捕捉跨句的空间指代、问答从句等语篇现象,导致生成的手势序列逐句正确却整体不连贯。DiscoSign 提出一种篇章感知的文本到手语手势符号(gloss)翻译框架,建立在模块化大语言模型之上,将手语语言学研究中已被充分描述的三类语篇现象转化为可处理的翻译模块。其中,空间指代消解要求在整段话语中为同一实体维持一致的空间定位;问答从句结构则承担信息突显与话题组织的功能。该框架代表了"语言学知识注入大模型"的融合路径,对改善听障群体的信息可及性以及低资源语言处理研究均具有参考价值。
手语翻译长期停留在句子层面
主流的手语处理系统一直有一个被忽视的短板:它们几乎都以单句为单位进行处理,无法把握跨句子的语篇现象。而对手语的真正理解,恰恰离不开这些篇章层面的信息。研究团队提出的 DiscoSign 框架,正是要填补这一空白——它是一种具备篇章感知能力(discourse-aware)的"文本到手语手势符号(gloss)"翻译方法,其设计根植于语言学研究。
换句话说,过去的系统把每句话孤立地翻成手语符号,就好像翻译一段对话时忽略了上下文里"他"到底指代谁。对手语这种高度依赖空间和语篇结构的语言而言,这种孤立处理会造成严重的信息丢失。

DiscoSign 关注的三大语篇现象
DiscoSign 建立在一个模块化的大语言模型(LLM)翻译框架之上,重点解决三种关键的语篇现象。
空间指代消解
第一个是空间指代消解(spatial coreference resolution)。在手语中,一个实体一旦被引入,往往会被分配到手语者面前空间中的某个固定位置,并在后续的表达中通过指向该位置来反复引用。这意味着整段话语中,同一实体需要保持一致的空间定位。传统的句子级系统无法维持这种跨句的空间一致性,而 DiscoSign 试图在翻译过程中显式建模这一点。
问答从句结构
第二个是问答从句(Question-Answer Clauses, QACs)。这是一种伪分裂(pseudocleft)结构,在手语中扮演着组织信息、突出重点的作用。它通过"提出问题—给出回答"的形式来传递本可以用陈述句表达的内容,是手语语篇中常见且重要的修辞与结构手段。识别并正确生成这类结构,对翻译的自然度和可理解性至关重要。
第三类现象与模块化设计
框架还涉及第三类语篇现象(原文摘要在此处截断)。整体来看,DiscoSign 的核心思路是把这些语言学上被充分研究的现象,转化为 LLM 翻译流水线中可处理的模块,让机器翻译不再只盯着单句,而是照顾到整段话语的连贯性。
为什么这项工作值得关注
手语并非简单地把口语词汇一一对应地"打"出来,它是一门拥有独立语法、空间语义和语篇规则的完整自然语言。以往的技术路线常常忽略这一点,导致生成的手势符号序列虽然逐句正确,却在整体上不连贯、缺乏语篇线索。
DiscoSign 的价值在于把语言学研究成果与大语言模型的能力结合起来:一方面借助 LLM 强大的文本理解与生成能力,另一方面通过模块化设计显式注入手语特有的篇章规则。这种"语言学知识 + 大模型"的融合路径,对提升手语翻译的可用性、进而改善听障群体的信息可及性,具有现实意义。
对研究社区而言,这项工作也提示了一个更普遍的方向:在低资源、结构特殊的语言处理任务中,纯数据驱动的端到端模型未必最优,将领域语言学知识以模块形式引入,可能带来更可靠、更可解释的结果。
小结
DiscoSign 把手语翻译从孤立的句子层面推进到篇章层面,聚焦空间指代消解、问答从句等关键现象,并以模块化 LLM 框架加以实现。尽管公开摘要信息有限,但其研究方向清晰地指向了手语处理领域一个长期被低估的问题。随着更多细节和实验结果的披露,这类篇章感知的方法有望成为手语机器翻译的重要基线。
相关推荐

@ai-sdk/zai@3.0.10 发布:依赖更新的补丁版本解析
Vercel AI SDK 发布 @ai-sdk/zai@3.0.10 补丁版本,同步更新 provider、provider-utils 与 openai-compatible 等底层依赖。本文解析该版本变更内容及 AI SDK provider 体系的设计意义。

Vercel AI SDK 更新:@ai-sdk/workflow 2.0.29 修复工具结果保留问题
Vercel AI SDK 发布 @ai-sdk/workflow 2.0.29 补丁版本,核心修复工作流在终止、延迟、暂停三种响应状态下 provider 工具执行结果的保留问题,并同步升级 ai@7.0.98 等核心依赖。

Vercel AI SDK 更新:@ai-sdk/xai 4.0.58 批处理与图像生成改进
Vercel AI SDK 发布 @ai-sdk/xai 4.0.58 版本更新,新增批处理图像生成支持,修复批处理请求类型校验及 DeepSeek 推理流问题,并同步升级 provider 相关依赖。