模型级RSI：当AI开始改进自身权重意味着什么

一个被忽视的区别：改进模型 vs 改进模型周围的东西

当我们谈论大语言模型的"自我改进"时，绝大多数情况指的其实是模型外围的优化——更好的提示词、更强的智能体脚手架（agent scaffold）、更丰富的工具调用。这些手段确实有效，但模型本身的权重纹丝不动。

模型级递归自我改进（Model-Level RSI, Recursive Self-Improvement）是另一回事。它改变的是模型自身的权重，而且整个过程中没有人类递交新的标注数据。这是一条真正的分界线，也是本文讨论的核心。

真正要回答的问题

递归自我改进背后那个诚实的问题是：在没有人给出答案的情况下，模型能否在某项任务上变得更强？

要伪造一个"能"的答案太容易了。在评测集上调参、从多次运行中挑最好的一次、或者让某条兜底路径悄悄编造一个答案——分数就上去了，而实际上什么都没真正改变。

所以有用的提问方式不是"分数涨了吗"，而是"权重是否在一条看不到测试集的规则下得到了改进"。这个措辞上的转变，决定了你衡量的是真实进步还是数据泄漏。

自我改进的五个阶段

原文把自我改进拆成五个阶段，因为它们常常被混为一谈：

第一阶段：工具与提示改进

模型周围的脚手架发生变化，权重不动。绝大多数智能体框架都停留在这里。

第二阶段：人类标注的微调

人类提供新的带标注数据，模型在其上训练。这是真实的改进，但上限受限于人类的标注能力。

第三阶段：模型生成数据 + 人类筛选

模型提出候选，人类来策展，模型在幸存下来的数据上训练。

第四阶段：模型级RSI

模型解决问题，一个看不到答案的验证器筛选出好的解答，模型在这些解答上训练。权重得到改进，而循环中没有任何人类标注。

**验证器（Verifier）**是第四阶段的核心机制，值得单独说明。所谓"看不到答案的验证器"，是指一个判断解答正确与否的程序或模型，但它的判断依据不是存储在训练数据里的参考答案，而是某种独立的外部标准——例如代码执行后的测试用例通过率、数学公式的形式验证结果、或物理模拟的输出是否合法。这与"让模型给自己打分"有本质区别：后者相当于学生自己出卷自己批改，高分只证明自洽，不证明正确。

在实践中，可验证的任务（如编程、数学、逻辑推理）天然更适合第四阶段，因为可以把代码解释器或证明检查器作为验证器；而开放式写作等任务目前很难找到可靠的外部锚点，强行套用第四阶段框架反而会让循环悄悄退化回第三阶段（事实上由模型偏好充当了筛选器）。

第五阶段：开放式自主导向

模型还能决定接下来做什么。这是真正的前沿，也应当被谨慎地宣称。

从第三阶段到第四阶段的跳跃才是关键的一步，也正是衡量纪律最重要的地方。

如何不自欺欺人

一旦你开始在自生成的解答上训练，筛选器就是一切。原文给出三条让循环保持诚实的规则：

• 把筛选器绑定到模型之外的东西。代码执行、外部参照、或者一个保留的答案集（held-out answer key）。一个用相同权重给自己打分的模型，根本不算筛选器。
• 训练集与测试集必须不相交。只要有任何评测条目泄漏进训练，收益就是幻觉。要数唯一条目，而不是数行数。
• 把正向的差距当作假设，而非胜利。落在运行间噪声范围内的小幅上升不算改进。应使用配对比较（paired comparison）并报告置信区间。

这三条不是可选项。它们是"一个真实结果"和"一份新闻稿"之间的区别。

怎么读排行榜成绩

公开排行榜之所以有用，恰恰因为它是由外部方来运行的。原文列出了几个值得直说的公开评测数字：

• AIME 与 HMMT February 竞赛数学集：满分。
• GPQA Diamond：在 500B 以下参数量级中取得 93.43%——这是一组专门设计来抵抗搜索的研究生级科学题。
• 广度：在十一个公开基准类别中名列前茅，并在 Polaris 药物预测排行榜的十六个类别中领先。

让这些成绩有意义的，并不是数字本身的高低。而是：测试由他人持有、题目抗记忆、同一套方法在差异极大的领域里都成立。

单一的高分可能只是运气，但在多个独立排行榜上的广度表现，要伪造起来就难得多。

GPQA Diamond 是由 Rein 等人于 2023 年发布的一个研究生级科学问答基准，题目由领域专家撰写并交叉验证，设计目标是让非专家（包括受过高等教育的人类）难以通过搜索或表面模式匹配来作答——非专家人类在该集合上的准确率约为 34%，专家约为 65%。这使它成为衡量"真正推理能力"而非"记忆检索能力"的标尺之一。

AIME（美国数学邀请赛）和 HMMT February（哈佛-麻省理工数学竞赛）是面向高中顶尖学生的竞赛数学题集，题目需要多步推导且答案空间极小，随机猜测几乎不可能得分。在这类抗搜索、抗记忆的评测上同时取得高分，是排行榜数字值得认真对待的前提条件。

一个关于吞吐量的提醒

自我改进说起来便宜，跑起来昂贵。只有当推理服务足够高效时，这个循环在实践中才能闭合——因为每一轮都意味着生成、筛选、再训练。

在同样的硬件上推动更多有用的 token，才是让这个循环变得负担得起的前提。这也是为什么推理效率和 RSI 应当放在同一场对话里讨论。

RSI 循环的计算开销可以用一个简单的框架来理解：每轮迭代至少包含三个成本中心——生成阶段（模型对同一问题采样多个候选解，通常需要数十到数百次前向传播）、筛选阶段（验证器对所有候选打分，代码执行类验证器还会引入额外的运行时开销）、再训练阶段（在筛选后的数据上做一次梯度更新或微调）。这三个阶段要在足够短的时间内完成，循环才能在合理的资源预算内迭代足够多轮以产生可测量的改进。

这也解释了为什么推理阶段的"投机解码"（speculative decoding）、KV 缓存优化等工程手段对 RSI 研究的重要性不亚于算法本身——生成速度慢一倍，意味着同等预算下能迭代的轮数减半，可观测到的改进幅度随之缩水。

快速问答

RSI 等同于会用工具的智能体吗？ 不。工具使用是第一阶段，权重不变；RSI 改变权重。

RSI 需要人类标注吗？ 第四阶段的定义正是"不需要"。它需要的是一个绑定到外部事物的验证器，而非人类答案集。

你怎么知道一个收益是真实的？ 训练集与测试集不相交、一个外部筛选器、以及带报告区间的配对统计。缺了这三样，就把收益当作未经证实。

那为什么还要报告排行榜数字？ 因为它由外部方在抗记忆的题目上运行。跨独立排行榜的广度，才是真正的信号。

可以带走的一句话

能够泛化的模式说起来简单、做起来很难：在测试集看不到的规则下改进权重，并用不相交的数据集和配对统计来衡量。其余的一切，都只是脚手架。