LLM内部如何编码目标?新研究揭示稀疏注意力头机制

研究定位到稀疏注意力头编码子目标,提出NRGS假说解释目标持续性。
一项新研究系统探究了大语言模型目标导向行为的内部神经表征。研究者在多子任务编程场景中定位到一组稀疏注意力头,其输出编码了“下一个子目标”,该编码既可解码为自然语言动作描述,也可通过因果干预改变模型后续动作。编码还具备可塑性,移植到新编程语言可触发相同操作意图,表明其编码的是抽象目标而非具体动作模板。针对无循环结构的Transformer如何维持目标编码的持续性之谜,研究者提出NRGS假说:模型通过频繁重读任务说明并比对上下文进度来“维持”目标,而非依赖隐状态传递。该工作将目标转化为可定位、可干预的内部变量,为机制可解释性和长程任务设计提供了新视角。
大型语言模型在完成复杂任务时,往往表现出类似"目标导向"的行为——先规划子任务,再逐一执行。但这种行为背后是否存在明确的内部神经表征?一项新研究对此进行了系统探究,并提出了一个反直觉的解释框架。

研究设计:用编程任务探测目标编码
研究者构建了一个包含多个子任务的编程场景,用来评估模型的目标寻求行为以及子目标选择过程。在这个设定中,模型需要判断当前进度、决定下一步做什么,并实际执行操作。这种多步骤结构使得"目标"成为可观测、可干预的变量。
通过分析模型内部激活,研究团队成功定位到一组稀疏的注意力头(attention heads),其输出中编码了"下一个子目标"的信息。换言之,模型并非在整个网络中弥散地表示目标,而是集中在少数特定组件上。
注意力头(Attention Heads) 是Transformer架构中的基本计算单元。在多头注意力机制中,输入序列的每个位置会通过多组独立的查询、键、值投影生成多组注意力权重,每组权重对应一个“注意力头”。每个头可以学习关注序列中不同位置之间的特定关系模式,例如语法依赖、指代关系或任务相关的特征。由于不同头在功能上出现分化,研究者常通过消融或干预单个头来探究其因果作用。本研究中定位到的“稀疏注意力头”意味着目标信息并非均匀分布在整个网络中,而是集中由少数几个头承载,这为机制可解释性提供了可操作的抓手。
目标编码可解码、可因果干预
这组注意力头的能力不止于"携带信息"。研究者发现,同样的注意力头可以用来解码模型未来的自然语言动作描述,例如"我正在检查一个单词是否为回文"。这意味着目标表征与后续行为之间存在直接的映射关系。
更关键的是因果性验证:对这份编码进行干预,会改变模型接下来的动作选择。这排除了"目标编码只是行为副产物"的可能,说明它在因果链条上处于驱动位置。
因果干预(Causal Intervention) 在机制可解释性研究中,指主动修改模型内部激活或输入,观察行为变化以判断某表征是否处于因果链条上。常见手段包括激活替换(activation patching)、消融(ablation)和定向扰动。与仅训练线性探针进行“解码”不同,因果干预能排除相关性的干扰:如果修改某组注意力头的输出会系统性地改变模型后续动作,则该表征更可能是驱动行为的因果变量。本研究正是通过这一逻辑,将目标编码从“可读取的信息”提升为“可控制的变量”。
编码具有可塑性,可跨环境迁移
研究还揭示了目标编码的"可塑性"。当研究者将编码移植到不同环境——比如换一种编程语言——模型会触发相同的操作意图,只是用不同的token序列来实现。这说明编码的是抽象目标而非具体动作模板,具备跨情境的泛化能力。
这一发现对理解LLM的迁移能力有直接意义:模型之所以能在新环境中复用技能,部分原因在于目标层面的表征是环境无关的。
持续性之谜与NRGS解释
一个令人困惑的现象是:模型能够在动作执行的全过程中维持目标编码。但标准Transformer没有循环结构,理论上无法在剩余层数耗尽后继续向前传递状态。
研究者提出"非循环目标寻求"(Non-Recurrent Goal-Seeking, NRGS)假说:模型其实不需要维持一个持续的内部状态。它会频繁地从任务说明中重新读取目标,与不断增长的上下文中可见的进度进行比对,然后追求尚未完成的部分。目标"持续性"是重读与比对的结果,而非状态传递的结果。
团队通过针对性的因果干预实验检验了这一假说的预测,为NRGS框架提供了支持证据。
标准Transformer的非循环性 指的是其前向计算是逐层堆叠的有限深度网络,不存在RNN那样的循环连接或跨时间步的隐状态传递。在单次前向传播中,信息只能沿层数向上流动,一旦经过最后一层便不再保留。因此,若模型要在多步任务中“记住”目标,理论上要么依赖上下文窗口中的文本(如任务说明和已完成步骤),要么依赖某种外部记忆机制。NRGS假说正是基于这一架构约束提出的:模型无需维持持续的内部状态,而是反复从上下文中重读目标并比对进度,从而在行为层面表现出目标持续性。
对可解释性与模型设计的启示
这项工作的价值在于把"目标"从一个抽象的行为描述,转化为可定位、可干预的内部变量。稀疏注意力头作为目标编码的载体,为机制可解释性研究提供了一个清晰的切入点。
如果NRGS解释成立,那么模型在长任务中的稳定性更多依赖于上下文管理和目标重读机制,而非隐状态记忆。这对长程任务的提示设计、上下文组织方式都有实际参考价值。
研究同时留下开放问题:目标编码在不同任务类型间是否共享同一组注意力头?重读频率如何影响执行效率?这些都有待后续工作回答。
相关推荐

Gemini 4 Neon 曝光:或成 Opus 5.5 有力竞争者
Hacker News 讨论帖指出 Gemini 4 Neon 看起来像 Opus 5.5 的竞争者。本文解读这一社区信号背后的产品定位、顶级模型竞争格局变化,以及对开发者模型选型策略的实际意义。

Claude Fable 5.2 独立创作短片《Fable》引热议
Hacker News 上出现由 Claude Fable 5.2 独立完成剧本、画面与导演的短片《Fable》,本文分析全流程 AI 创作的意义、社区反应及对内容创作者的启示。

Anthropic IPO定价:AI巨头上市信号
Anthropic 进行 IPO 定价的消息引发关注。本文分析这一动作对 AI 行业估值、商业化路径和竞争格局的潜在影响,并指出公开市场对 AI 公司的期待与挑战。