LM2LM：语言模型学会自我改进，开启递归自我提升新路径

大型语言模型（LLM）正被越来越多地用于自动化AI研究，包括语言模型本身的开发。这指向了一条诱人的路径：递归自我改进——模型能够提出改进方案，从而让下一代模型更强。然而，如何将实验反馈转化为可学习的、跨模型有效的改进提案能力，仍面临两大挑战。近期一篇论文提出的LM2LM方法，通过强化学习（RL）训练LLM生成有效的模型改进提案，并借助“研究世界模型”作为奖励模型，在多个开发环境中取得了显著效果。

挑战：真实反馈昂贵，代理反馈不可靠

直接用真实实验反馈训练模型改进能力，成本极高。RL需要评估数万个提案，每个提案可能都需要完整训练一次模型。即便每次训练仅需10个GPU小时，收集奖励也要消耗数十万GPU小时。这促使研究者寻找更便宜的代理信号。

但代理反馈存在可靠性问题：随着策略优化，提案分布发生偏移，策略会倾向于那些被高估的提案，导致代理奖励失真。如何在不牺牲可靠性的前提下获得可扩展的反馈，是LM2LM要解决的核心矛盾。

强化学习中的奖励模型与奖励黑客

在强化学习（RL）中，当真实环境奖励难以频繁获取时，常用一个可学习的代理模型来近似奖励函数，这类模型统称为奖励模型（Reward Model）。RL 训练的目标是最大化累积奖励，因此策略会主动寻找奖励模型给出高分的输出。问题在于，代理奖励与真实奖励之间总有偏差，策略优化越充分，越容易钻这个偏差的空子——生成在代理模型看来得分很高、但真实质量并未提升甚至下降的样本。这一现象被称为奖励黑客（Reward Hacking），在 RLHF 中表现为模型输出迎合偏好模型而非人类真实偏好。LM2LM 面临的“代理反馈不可靠”正是奖励黑客的一个具体实例：策略会集中到那些被研究世界模型（RWM）高估的提案上，使奖励信号逐渐失真。

LM2LM：用世界模型当裁判，定期校准

LM2LM的核心设计包含两部分。首先，它使用一个冻结的LLM作为“研究世界模型”（RWM），该模型根据上下文中提供的真实实验记录，预测提案的收益，并以此作为RL的奖励模型。这样，反馈的获取不再依赖大量真实训练，而是基于已有实验记录进行推理。

其次，为了保持反馈的可靠性，LM2LM会定期执行当前策略排名靠前且被RWM高估的提案，将实际测量结果加入RWM的上下文。这相当于用真实执行结果不断校准世界模型，防止策略过度优化代理奖励。

据论文描述，在八个自回归和扩散语言模型开发环境中，真实执行评估显示，LM2LM使Qwen3.8-27B的性能超越了GPT-6-sol——即使后者在上下文中获得了300条真实实验记录。同时，LM2LM所需的数据生成成本降低了33%。此外，LM2LM还能泛化到训练期间未见过的模型家族。

冻结 LLM 作为上下文内学习的世界模型

LM2LM 所称的“研究世界模型”（RWM）并不是一个在环境动态上训练的专用预测模型，而是一个参数冻结的 LLM，它通过上下文内学习（In-Context Learning）来完成预测：把若干条真实的“提案—执行结果”记录作为示例放进提示，再让模型对新的改进提案预测收益。这种设计的优势在于无需为奖励模型单独收集训练数据或微调参数，直接复用 LLM 的推理与模式识别能力；代价是预测质量高度依赖上下文示例的代表性和数量。当策略产生的新提案偏离上下文中已有示例的分布时，预测误差会显著上升，这正是需要定期注入真实执行结果来“刷新”上下文的原因。

多源视角下的意义与局限

单一来源的论文结果固然亮眼，但我们需要理性看待。LM2LM展示了一种可能性：语言模型不仅能写代码、调参，还能学习如何提出高价值的模型改进方案，并且这种能力可以跨模型迁移。这为自动化AI研究提供了新思路——用世界模型降低试错成本，用定期真实执行保证方向正确。

不过，该方法目前仅在八个开发环境和有限模型上验证，真实场景中的复杂性和多样性远高于此。此外，世界模型的预测精度和校准频率如何影响最终效果，论文未详细展开。未来，如何将LM2LM扩展到更大规模、更多模态的模型开发中，仍是开放问题。

总体而言，LM2LM朝着递归自我改进迈出了扎实一步。它不追求让模型完全自主，而是设计了一种人机协作的反馈循环：模型提出提案，世界模型筛选，真实执行校准。这种务实的设计或许比激进的“全自动”更接近落地。

递归自我改进与自动化 AI 研究

递归自我改进（Recursive Self-Improvement）指系统能够改进自身的改进能力，从而形成能力增长的反馈回路，是 AI 安全讨论中的核心概念之一。在 LLM 语境下，它不必是模型直接修改自身权重，而可以表现为模型提出架构、数据或训练配方层面的改进提案，再由外部流程验证和执行。当前研究更现实的形态是“AI 辅助 AI 研究”：模型承担提案生成、实验筛选等环节，真实训练与评估仍由工程管线完成。这一路径的关键瓶颈不在于提案是否新颖，而在于验证提案的成本与可靠性——这也解释了为何 LM2LM 把重心放在用低成本代理奖励替代昂贵真实实验，并设计校准机制防止代理信号漂移。