GPT-6 Astra 改写 Qwen 权重：7.9% 到 48.1%，是学会了数学还是学会了停？

一次没有训练的「权重编辑」

MIT 的四位研究者发布了一张表：一个小型开源模型 Qwen 在 500 道数学题上得分 7.9%。对它的权重做了一次编辑后，得分变成了 48.1——全程没有训练。完成这次编辑的是 OpenAI 的 GPT-6 Astra，它靠阅读网络内部的数字，加上 50 次练习运行，推算出了改动方案。研究者把这种方法称为「基于权重的编程」：一个模型读懂另一个网络的权重，朝着用自然语言写下的目标去修改它，绕开常规训练流程。

他们的博客写道，前沿模型在理解和构造神经网络权重方面正变得「令人不安地擅长」。如果这一点成立，一个模型或许有一天能在不运行另一个模型的情况下，检查它是否藏有隐藏故障。这是作者的期望，而不是已经被验证的结论。

先说清楚「读权重」是什么意思。神经网络是一长串叫权重的数字，每个数字表示一个单元的��号对下一层有多重要。训练用梯度下降反复微调每一个权重来降低误差，没人单独挑过某个数字，结果能用，但不好读。

从读小网络开始：它认出了四个游戏

研究者先拿四个结构相同的小网络做测试，每个都玩一个网格游戏（Breakout、Pong、Pac-Man、Freeway），看 Astra 能不能在不被告知列表的情况下分辨谁是谁。Astra 拿到的是纯文本形式的全部权重，没有任何工具，连计算器都没有。它把四个游戏全认对了。

以 Breakout 为例，它给出了 99% 的把握，并指出一条线索：玩家位置的权重堆在底行，也就是挡板所在的位置。这条线索可以核验——把玩家位置关联的权重按方格求和，Breakout 网络里墙内底行占了 55%，其他行只有约 5%；另外三个游戏没有任何一行超过 21%。开发者 Simon Willison 在自己笔记本上用开源模型跑了同样的四个提示，花约一小时认对了三个，漏掉了 Freeway。他的看法是，一个拿着纸笔的有经验的人大概也能做到。

接下来是更难的读取测试：三个微型图像生成器，分别画圆、方、三角。Astra 仅凭权重就说对了每个形状，但把形状画成了轮廓，而这些模型生成的是实心图形。作者把这个错误当作线索——它读的是最后一层的构造方式，而不是把网络跑一遍。

还有三个小语言模型，分别训练于 Python 代码、英文和用拉丁字母书写的日文。研究者移除了首尾层，让字母身份无从判断，并禁止运行网络。Astra 六次全对，尽管每次把握只有一半左右。它还找出了所有「复制头」（让模型重复已见文本的部件），且没有误报。复制头损失指向 Python，因为代码重复名称的频率远高于散文。

梯度下降是训练神经网络的标准优化算法：它计算损失函数对每个权重的梯度（即该权重微小变动对误差的影响方向），然后让权重沿梯度的反方向迈出一步，反复迭代直到误差收敛。关键在于，梯度下降只关心整体误差的下降，并不保证每个权重都获得人类可解释的含义；大量权重会以分布式、冗余的方式共同编码同一功能。这正是「读权重」困难的根源——单个数字往往没有独立语义，行为信息分散在成千上万个数字的组合模式中，必须从整体结构中反推。

真实语言模型上，光看数字不够

上面这些网络都很小。换到一个真实语言模型，一项读取测试失败了。两个同源的小型 Gemma 模型接受了相同的额外训练，区别只在于其中一个学会了附和用户给出的任何答案——一个谄媚者。仅凭权重，Astra 四次尝试都分不出哪个是哪个。它找到了大量差异，却无法把这些差异转化成行为判断。

后来给它看每个模型在读文本时的注意力分布，它就三对全挑对了。谄媚模型把 86% 的注意力集中在用户的答案上，诚实模型不到 1%。结论很清楚：在真实语言模型上，光有数字不够，得看它跑起来。

博客里还有 Astra 直接写权重的案例。一个训练好的赛车控制器总在坡道前熄火，每次都直冲过去卡住。Astra 在一次无工具的回复里改动了 3.5% 的权重，车在全部 1,024 次尝试中都通过了。它的改法是加一条小路：先让车退后助跑，越过红条后自动关闭，交回原来的网络驾驶。

更极端的是从零写网络：三个简单街机游戏，所有权重初始为零，没有数据，没有练习局，Astra 直接把数字写成文本。在 Breakout 里，它的第一层算出球会落在哪，第二层把挡板移过去，得分约 517；而靠试错训练了 5 亿步的网络只有约 25 分。另外两个游戏里，它打赢了训练时长只有五分之一的网络，但打不过完整训练的那个，大约拿到后者六成的分数。

注意力分布是 Transformer 架构的核心机制：模型在处理每个 token 时，会为序列中其他 token 分配一组权重（注意力分数），决定「看哪里、看多少」。这些分数经 softmax 归一化后加总为 1，因此可以直观理解为模型把注意力预算花在了哪些位置上。由于注意力分数是运行时才产生的动态量，它携带了权重静态数值中难以直接读出的行为信息——比如模型是否过度关注用户给出的答案。这解释了为什么谄媚检测仅凭权重失败，而一旦观察到注意力分布就能轻松区分。

Qwen 实验：93% 的答案死于循环

重头戏是 Qwen 3.5 的 0.8B 版本，一个小型开源模型，回答前会先「出声思考」。它自己的模型卡就警告过：思考模式下它比同家族其他模型更容易陷入循环，可能导致生成无法正常终止。

Astra 接到的任务是在 Python notebook 里改进它的数学能力，不允许用梯度，只给一定次数的练习运行。它先读了练习答案：前 96 个里有 85 个一直跑到长度上限都没结束。它把循环追溯到一个方向——第 15 层和第 19 层传给下一层的一个特定模式。然后它修改了这两层各 64 列，用来抵消这个模式。

50 次练习运行后，触顶答案从 93% 降到 33%，数学分数从 7.9 升到 48.1，小学应用题从 14 升到 67，指令遵循测试从 21 升到 62。只给 10 次或 25 次练习运行时，循环几乎没消退，数学分数也仍然很低。

这次编辑是公开的，可以逐字节核查。视频作者用 Kuhn 的原始文件应用了公布的改动做比对：两个被编辑的层与作者公布的指纹一致，共改动了 130,188 个数字，略低于博客所说的 131,000——有些改动四舍五入后回到了原值。这大约是语言模型中每 5,800 个权重里的一个，而且确实只是「一个方向」：那个模式作为改动的第二大成分，规模不到第一部分的千分之一。博客没提的一个细节是，在这些列里，编辑把方向抵消了六次，结果方向反转、强度变为五倍。独立分析师 Toledo 最先发现这个六倍系数，视频作者的核查结果一致。

权重编辑指直接修改模型参数矩阵中的数值，而不经过梯度更新或再训练。常见做法包括：定位与某类行为强相关的方向（通常是一个向量），然后沿该方向对权重做加性或乘性调整。难点在于，权重空间维度极高且高度纠缠，一次局部改动可能牵动多个不相关的行为，因此需要精确识别「最小充分方向」。本文中 Astra 修改第 15、19 层各 64 列，本质上是在参数空间中找到一个与循环模式对齐的子空间并施加反向修正，属于定向权重编辑的一种。

分数本身有多可靠？

Hugging Face 的 Asen Kalik 用公布的文件重建了编辑后的模型，在相同设置下重跑完整数学测试，得分 51%，略高于博客。Toledo 则问了另一个问题：只改设置、不改权重，原始模型能得多少？博客设置下约 7%；放宽长度上限、沿用 Kuhn 模型卡的设置并保持思考模式时是 22；关掉思考模式则是 44。也就是说，大部分提升可能来自让模型停下来。Toledo 的结论只有四个词：增益即终止。

他仍然认为这次编辑做了真实的事——指令遵循的提升是实打实的，甚至超过了 Kuhn 模型卡上的数字。作者自己的后续实验也指向同一方向：他们在很少循环的 Gemma 上试了同样的方法，数学分数变动不超过约一分。他们写道，编辑无法给模型添加它本不具备的能力。

模型蒸馏与同源模型：文中两个 Gemma 模型「同源」且接受相同额外训练，只有行为差异，这属于典型的对照实验设计。同源意味着它们共享大部分预训练权重，差异被压缩在少量参数中，理论上更容易被权重读取识别——但实验恰恰在此失败，说明微小行为差异在权重空间中的表征可能极其隐蔽。另外，复现实验里「关掉思考模式」得到 44 分，提示评测分数高度依赖推理配置（生成长度上限、是否启用思维链），跨设置比较分数时必须严格控制变量，否则容易把配置红利误读为能力提升。

哪些说法站不住脚

关于这项工作，有些流传的说法并不在博客里。它没有展示一次编辑能「添加」技能——那个很少循环的模型并没有提升。它没有展示在真实语言模型上仅凭权重读出行为——谄媚测试需要模型跑起来。它也没有经过同行评审，只是一篇带完整日志的博客文章，而正是这些日志让上述每一项核查成为可能。

什么会改变判断？一次在模型没有卡住的情况下抬高分数的编辑，由团队之外的人测试；或者从权重中单独发现一个隐藏行为，比如植入的后门。目前的看法是：读懂小网络、在真实网络里找到一个干净的故障，这是观察模型内部的新方式，日志让它可核查。Qwen 那个数字，主要是修好了一个停止问题。这很重要——永远结束不了的答案是没用的——但这是修复，不是新的数学能力。不运行模型就审计它、模型改进自己的权重，是作者的期望，这篇博客还没有测试它们。

所以，这次编辑是教会了 Qwen 数学，还是教会了它停？主要是停。作者说，它本来就能算出其中许多题，只是从来没走到终点。两层里的方向修正，足以让它完成作答。而真正奇怪的部分依然成立：一个语言模型从另一个模型的数字里、加上 50 次练习运行，找到了那个方向，并写出了修复方案。