免训练修模型重复循环：权重手术Claude Code插件

小模型爱重复，这是训练和部署中常见的顽疾。通常的解法是加解码惩罚或继续微调，但一位开发者选择了第三条路：直接编辑模型权重，定位并切除导致循环的"神经回路"。他把这套流程做成了Claude Code插件Weight-Surgery，让编码智能体可以端到端地对任意训练好的Transformer做"权重手术"。

从重复循环到权重手术

这位开发者正在训练一个小型研究模型，发现模型在生成时频繁陷入重复循环。他没有采用常见的解码惩罚（如repetition penalty），也不想再投入更多训练，而是想验证一个更激进的想法：能否找到导致循环的具体权重，直接编辑它们来消除问题。

这个思路最终演化成了Weight-Surgery——一个Claude Code插件，包含一个skill和一个PyTorch文件。它允许编码智能体对任意训练好的Transformer执行完整的权重手术流程：扫描注意力头（归纳/复制扫描、消融与缩放）、归因前馈写入器、用对比方向拆分单个头内的两种功能、应用可逆编辑、用剂量序列和随机对照做筛选、在生成任务上测试，最后保存带有验证diff、manifest和undo文件的新检查点。

扫描定位：真正的罪魁祸首是一个归纳头

扫描结果指向了一个明确的元凶：一个真正的归纳头（induction head）在背后驱动循环，其归纳得分为0.425，而普通复制得分仅为0.012。这说明该头主要负责归纳模式而非简单复制。

直接关掉这个头，循环率从29.4%降到25.4%。但问题在于，这个头同时也负责将名字复制到阅读理解答案中。如果简单关闭，虽然循环减少，但阅读能力会受损。开发者没有选择"杀死"这个头，而是尝试拆分它内部的两个任务。

归纳头（Induction Head） 是Transformer中一类特殊注意力头的统称，最早由Anthropic的机制可解释性研究系统描述。它的典型行为是：当序列中先前出现过某个模式（如“A B”），而当前又出现“A”时，该头会强力关注此前“A”之后的位置，从而预测出“B”。这种“复制历史后继”的机制是上下文学习（in-context learning）的重要基础，但也容易在重复性文本上形成正反馈循环。归纳头通常由两个注意力头协作实现：前一个头（previous-token head）负责标记每个token的前驱，后一个头（induction head）则利用该标记检索后继。文中“归纳得分”衡量的是该头在合成重复序列上诱发后继预测的强度，得分越高说明其归纳行为越显著。

拆分功能：只切循环方向，保留阅读能力

开发者使用对比方向（contrast directions）在复制头内部拆分两种功能，只切除与循环相关的方向，保留与阅读相关的方向。在960条新鲜数据行上测试，循环率从30.5%降至25.2%（2.6个标准误），贪婪解码下的循环率从41.6%降至35.3%，而阅读能力几乎未受影响（+0.01），通用损失仅上升0.08。整个过程无需训练，也无需解码惩罚。

对比方向（Contrast Directions） 是一种基于激活差分的可解释性编辑技术。其做法是：构造两组语义或行为上形成对比的输入（例如“会引发循环的上下文”与“正常的阅读理解上下文”），分别前向传播并记录目标头或层的激活，然后计算两组平均激活之差，得到一个方向向量。这个向量被认为编码了区分两种行为的关键特征。在权重手术中，可以将该方向从权重矩阵中投影出去（即减去其在方向上的分量），从而“切除”对应功能，同时尽量保留其他功能。对比方向的有效性依赖于对比集的代表性和纯度，因此文中强调在960条新鲜数据行上做验证，并用标准误衡量效应是否显著。

更便宜的切入点：写入权重

除了拆分头内功能，开发者还发现了一个更高效的编辑位置：前馈层的写入权重。将同一方向从残差流中投影出去会导致损失上升0.32，而直接编辑写入权重仅带来+0.001的损失。这意味着写入权重是更"便宜"的干预点。

此外，对单个前馈层做rank-1编辑，在T=0.7采样下将循环率从19.4%减半至9.4%。这进一步验证了权重手术的可行性。

前馈层的写入权重（write weights） 指的是Transformer前馈网络（FFN）中负责将计算出的特征写回残差流的那个权重矩阵（通常是第二个线性层，即W_out或down-projection）。与之相对的是“读取权重”（第一个线性层），负责从残差流中提取信息。残差流是各层之间共享的加性通道，直接投影残差流会干扰所有后续层读取的信息，因此代价较高；而编辑写入权重只改变该FFN层向残差流贡献的内容，影响更局部、更可控。文中“rank-1编辑”指仅修改写入权重矩阵的一个秩为1的方向（即一个外积项），这是最小幅度的结构化干预，便于可逆和解释。

多源视角与工程意义

据Reddit原帖和GitHub仓库的说明，这套工具的核心价值在于将复杂的模型可解释性操作封装成编码智能体可调用的技能。它不依赖训练，而是通过可逆编辑和验证流程，让开发者能够安全地实验权重修改。对于研究小模型行为或需要快速修复生成问题的团队，这提供了一种低成本的替代方案。

不过，目前该方法仍在小模型上验证，其泛化到更大模型或不同架构的效果尚待观察。但思路本身——用权重手术替代训练和解码惩罚——为模型调试打开了新方向。

GitHub仓库链接已在原帖中提供，感兴趣的读者可以查看具体实现和实验细节。

可逆编辑与验证流程 是权重手术工程化的关键。可逆编辑意味着每次修改都记录原始权重和修改量，支持通过undo文件精确回滚；验证diff则对比编辑前后在保留集上的行为变化，manifest记录扫描、归因、编辑和测试的完整参数与结果。这种设计借鉴了软件工程中的版本控制和持续验证思想，使模型权重修改从一次性的研究实验变成可审计、可复现的流程。对于编码智能体而言，Weight-Surgery将“扫描-归因-编辑-测试”封装成skill，智能体可以按步骤调用PyTorch函数，自动完成剂量筛选和随机对照，降低了人工操作的门槛和风险。