LLM智能体自动研究瓶颈突破：遗忘机制让发现效率提升39%

自动化研究正成为LLM智能体的重要应用方向。通过迭代优化和评分验证器，智能体能够在多个领域发现新思路。但一个被忽视的问题逐渐浮出水面：当智能体积累的历史越来越长，它们的创新能力反而会下降。最新研究指出，遗忘才是进一步扩展自动发现的关键。

三种扩展策略都会遭遇瓶颈

研究团队系统考察了扩展自动化研究的三种常见路径：

单智能体长时间迭代——让一个智能体持续工作更久；

多智能体并行运行——同时启动多个智能体独立探索；

并行智能体互相通信——在并行的基础上让智能体之间交流并基于彼此的候选方案继续改进。

三种策略在初期都能带来收益，但随着智能体积累的历史增多，它们最终都会陷入停滞。核心原因在于：每个智能体都被自己过去的尝试“锚定”了。它们倾向于在原有方案上做越来越小的修改，而非跳出局部最优去探索全新方向。一旦进入这个阶段，追加再多的计算预算也难以带来实质性提升。

这一发现挑战了“更多计算等于更好结果”的朴素认知。对于开放式发现任务，算力并不是唯一的瓶颈。

评分验证器（scoring verifier）是自动化研究流程中的关键组件。它通常是一个独立的模型或程序，负责对智能体产生的候选方案进行自动打分，判断其是否满足目标——比如代码能否通过测试、设计是否达到性能指标、数学证明是否成立。在迭代优化循环中，智能体根据验证器给出的分数调整下一步的搜索方向，因此验证器的质量直接决定了发现过程能否收敛到有效解。若验证器存在偏差或过于宽松，智能体可能被错误信号误导，将无效方案当作最优解继续优化。

遗忘机制：定期清空搜索状态

论文提出的解决方案直截了当：定期遗忘。

具体做法是周期性地丢弃搜索状态——包括每个智能体的会话记录和完整的候选方案历史——然后从当前找到的最优候选重新启动搜索。这个操作看似在“浪费”已有的积累，实际上却解除了智能体被自身历史束缚的困境，让同样的计算预算能够推进得更远。

研究团队将遗忘机制实现在一个支持通信的智能体团队中，并在四类任务上进行了评估，覆盖启发式编程、内核优化和模型训练等场景。

结果显示：

• 相比并行智能体方案，引入遗忘机制后性能提升最高达15%；
• 相比单智能体方案，提升幅度最高达39%。

这些提升是在相同计算预算下实现的，意味着遗忘机制改变的不是“投入多少”，而是“如何有效利用投入”。

为什么遗忘对开放式发现如此重要

这项研究的深层启示在于重新定义了智能体记忆的价值。

在传统软件工程中，保留完整历史通常被视为良好实践——它提供可追溯性和上下文。但在开放式发现场景中，完整历史反而成为一种负担。智能体倾向于参考自己的历史决策，导致搜索行为趋同，探索空间被压缩。

遗忘机制的核心逻辑是：保留最优解，丢弃路径依赖。从最优候选重启，智能体保留了已经验证的成果，同时获得了重新探索的自由。它不再被“我之前试过什么”所限制，而是面对“从这里还能往哪里走”的开放问题。

论文作者由此提出了一个更普遍的结论：对于开放式发现任务，智能体被允许记住什么，与它被分配多少计算资源同样重要。这一观点为自动化研究系统的设计提供了新维度——不仅要关注算力扩展和并行架构，还要认真思考记忆管理的策略。

局部最优（local optimum）是优化与搜索理论中的核心概念，指在当前位置的邻域内已是最佳、但并非全局最佳的方案。在自动发现任务中，智能体基于历史记录做增量修改，相当于只在当前解附近做小步搜索，容易卡在局部最优而无法跳出去。跳出局部最优的常见手段包括随机重启、模拟退火中的高温探索，以及本文提出的遗忘机制——通过丢弃历史、从当前最优重新出发，等价于在保留成果的前提下制造一次“软重启”，让搜索有机会覆盖更广的解空间。

对自动化研究工具开发的启示

当前主流的LLM智能体框架大多强调持久记忆和上下文累积，将历史长度视为能力的标志。这项研究提示了一个反直觉的设计原则：在探索性任务中，适时的“记忆重置”可能比持续累积更有效。

对于构建自动研究工具的团队而言，这意味着需要在架构中引入可控的遗忘策略——确定何时丢弃状态、从哪个检查点重启、以及如何在遗忘与利用之间找到平衡。这些工程决策将直接影响智能体能否突破瓶颈，实现真正的规模化发现。

持久记忆（persistent memory）在LLM智能体框架中通常指跨会话保留的对话记录、工具调用日志和中间结果，使智能体在多轮任务中不丢失上下文。与之相对，工作记忆仅保留当前任务相关的短期信息。本文的发现表明，持久记忆在探索性任务中可能产生负面效应：历史越长，智能体越倾向于参考旧决策，导致行为趋同。因此在工程实践中，需要区分“需要长期记忆”的任务（如客服、项目管理）和“需要定期遗忘”的任务（如开放式搜索、创意生成），并为后者设计状态丢弃与检查点重启机制。