LM2LM
一种通过强化学习训练语言模型生成模型改进提案的方法，使用冻结的LLM作为研究世界模型提供奖励信号，并通过定期真实执行校准奖励，实现递归自我改进。
时间轴 (近 90 天)
LM2LM方法通过强化学习训练LLM生成有效的模型改进提案，并使用冻结的LLM作为研究世界模型（RWM）来预测提案收益作为奖励信号。
LM2LM定期执行当前策略排名靠前且被RWM高估的提案，并将实际测量结果加入RWM的上下文以校准世界模型。
论文声称在八个自回归和扩散语言模型开发环境中，LM2LM使Qwen3.8-27B的性能超越了GPT-6-sol，即使后者在上下文中获得了300条真实实验记录。
LM2LM所需的数据生成成本降低了33%。
LM2LM能泛化到训练期间未见过的模型家族。
LM2LM面临的核心矛盾是如何在不牺牲可靠性的前提下获得可扩展的反馈，因为代理反馈会因策略优化导致提案分布偏移而失真。
LM2LM目前仅在八个开发环境和有限模型上验证，真实场景中的复杂性和多样性远高于此；世界模型的预测精度和校准频率如何影响最终效果，论文未详细展开。
LM2LM设计了一种人机协作的反馈循环：模型提出提案，世界模型筛选，真实执行校准。
全部知识事实 (8)
LM2LM方法通过强化学习训练LLM生成有效的模型改进提案，并使用冻结的LLM作为研究世界模型（RWM）来预测提案收益作为奖励信号。
50%待验证LM2LM定期执行当前策略排名靠前且被RWM高估的提案，并将实际测量结果加入RWM的上下文以校准世界模型。
50%待验证论文声称在八个自回归和扩散语言模型开发环境中，LM2LM使Qwen3.8-27B的性能超越了GPT-6-sol，即使后者在上下文中获得了300条真实实验记录。
50%待验证LM2LM所需的数据生成成本降低了33%。
50%待验证LM2LM能泛化到训练期间未见过的模型家族。
50%待验证LM2LM面临的核心矛盾是如何在不牺牲可靠性的前提下获得可扩展的反馈，因为代理反馈会因策略优化导致提案分布偏移而失真。
50%待验证LM2LM目前仅在八个开发环境和有限模型上验证，真实场景中的复杂性和多样性远高于此；世界模型的预测精度和校准频率如何影响最终效果，论文未详细展开。
50%待验证LM2LM设计了一种人机协作的反馈循环：模型提出提案，世界模型筛选，真实执行校准。
50%