知识注入可写性研究：GPT-2 受控实验与生产记忆对比

知识能否被"写进"大模型的记忆并稳定检索，是检索增强之外另一条重要的技术路线。一项名为《Writability and the Pathway: A Controlled Study of Knowledge Injection into Addressed Memory》的研究，通过受控 GPT-2 实验与 Qwen、DeepSeek 生产级记忆系统的对照测试，给出了一个颇为克制的结论：写入可以成功，但"写入成功"离"可被正确提问召回"还有相当距离。

受控实验设计：2×2 矩阵拆解写入路径

研究在冻结的 GPT-2 上挂载新初始化模块，构建了一个 2×2 的对照设计。第一个维度是更新范围：仅更新行向量（row-only）与同时更新行加投影（row-plus-projection）。第二个维度是是否启用固定的模块残差锚定（module-residual anchoring）。

所有实验组在三个采样种子下均能复现 50 条已训练完成的结果，说明基础记忆写入本身是可实现的。但当问题换成一个自然语言提问时，目标字符串命中率的差距立刻显现：两种仅更新行的实验组平均命中率均为 5.3%，而无锚定的投影更新达到 28.7%，加上锚定后为 22.0%。

需要特别指出，尽管投影更新在词面命中上明显更高，所有实验组的严格答案得分仍然为零。这意味着模型可能"说出"了目标词，却没有形成可判定的完整答案。

关于冻结主干与新增模块：这里的“冻结的 GPT-2”指的是不更新原有数十亿级参数，只在其某一层（通常是残差流）旁挂一个可训练的小模块，形成“主干不动、旁路可调”的写入方式。这样做的目的是把“模型本身已经知道什么”与“新写入的内容”解耦，避免微调时全局参数漂移污染对照结果。

所谓“行向量”通常指模块中直接加到隐藏状态上的偏置向量，而“投影”则指一个小型线性变换矩阵（形如 W·x），表达能力更强，能对激活做定向旋转或缩放。“模块残差锚定”则是给这个旁路模块额外叠加一个固定残差项，使它的输出在未激活时更接近零，从而在训练后限制其对主干行为的扰动。理解这三点，才能读懂 2×2 矩阵中每一格所代表的不同“写入自由度”。

锚定降低漂移，但词面命中不等于实体检索

模块残差锚定（anchoring）的作用在这组数据中比较清晰：它把自然提问下的命中率从 28.7% 拉低到 22.0%，同时降低了测量到的行为漂移（drift）。这是一个典型的权衡——用一定的召回率换取对非目标行为的更好保持。

研究者的判断相当谨慎：词面命中并不能证明模型实现了实体级别的检索。换句话说，模型可能只是把某些词序列写进了输出分布，而不是真正把"实体—答案"的对应关系存进了记忆。这也是为什么严格答案得分会全部归零。

这一结论对实际应用有直接含义：如果只用关键词命中率评估知识注入效果，很可能高估系统的真实能力。

行为漂移（drift） 指的是注入新知识后，模型在原本已经掌握的任务或无关提示上的输出分布发生变化。它通常用一组保留的通用提示词来测量，看输出与注入前基线之间的差异。漂移大意味着模型“为了记住新东西而弄乱了旧东西”，在实际部署中可能表现为通用对话质量下降、格式错乱或人格设定不稳定。

词面命中（surface hit） 则只检查目标字符串是否出现在生成结果中，不检验模型是否真的建立了“提问实体—目标答案”的映射。例如问“法国的首都是哪里”，模型回答“法国的首都是巴黎，但巴黎其实是意大利城市”，词面命中会判为正，实体级检索判断则会因答案矛盾而否认。这正是原文强调“严格答案得分全部为零”的关键：词面命中率高，可能只反映模型学会了在相关上下文中抛出某些 token，而不是真正记住了事实关联。

生产记忆系统：Qwen 与 DeepSeek 的写入表现

在归档的 Qwen 实验中，研究对 Qwen3.8-Flash-Next-FP8 做了梯度写入测试。结果显示，指定的首个答案 token 在 132 个独立重置的目标中被排到最高位，其中 93 个属于新晋提升（原本不在首位），39 个原本就已在首位。

一组匹配的 24 目标对比给出了更细的差异：在相同迭代次数但计算流程并不对等的条件下，Adam 优化器带来 13 个新提升，而 SPSA 只有 2 个。研究明确标注了"计算流程不对等"这一前提，因此这一对比只能作为参考，不能直接推断优化器优劣。

此外，一个 80 行的案例保存了续写内容和回放记录，而其改写形式限定了该案例的适用范围。

梯度写入与零阶优化：Qwen 实验中提到的“梯度写入”是指通过反向传播直接计算目标 token 的损失梯度，并更新可训练参数。这需要模型或写入模块对目标 token 的 logits 可导，因此通常用于白盒或可访问梯度的系统。

SPSA（同时扰动随机近似）则是一种零阶优化方法，它不依赖反向传播，而是通过随机扰动参数并观察损失变化来估计梯度方向。它对计算图不可导或黑盒 API 场景更友好，但每次更新需要多次前向传播，收敛通常更慢、方差更大。原文特意标注“计算流程不对等”，正是因为 Adam 走的是精确梯度路径，而 SPSA 走的是近似梯度路径，两者迭代次数相同并不意味着计算预算或信息量相同，所以那组 13 比 2 的对比只能作为方向性观察，不能当作优化器优劣的判决性证据。

DeepSeek 零阶实验与结论边界

DeepSeek^广告-V4.1-Flash 上的六个零阶（zero-order）案例结果更为保守：仅出现一个新目标 token 提升，同时出现一次回退。

综合全部实验，作者给出的核心判断可以归纳为三点：第一，有界写入（bounded writing）是可行的；第二，需要把"已训练表达""提问形式下的行为"和"非目标行为的保持"三者分开评估；第三，首 token 排名靠前并不能证明完整答案成功，也不能推导出可写记忆的普适条件。

对于正在探索知识注入、记忆编辑或模型后训练的团队，这项研究最大的价值或许不是某个具体数字，而是它建立了一套区分度更高的评估框架——把"写进去了"和"问得出来"当成两件需要分别验证的事。