CoReMem:让编程智能体学会为记忆买单

CoReMem 用下游任务表现反向估值记忆,将写入读取成本内部化,实现解决率与效率双提升。
CoReMem 框架针对编程智能体跨任务记忆的根本矛盾——记忆写多了成本高、写少了丢信息——提出将记忆成本内部化的方案。它通过前瞻性片段估值,在相同仓库状态下对比有无某段轨迹对下一任务的影响,量化记忆价值,并引导构建以仓库位置和可执行检查为锚点的紧凑记忆。演员适配机制在 rollout 组内估计 on-policy 记忆价值,奖励设计优先解决率并惩罚成功运行步数。溯源门控价值信用将额外价值仅分配给使用记忆锚点的步骤,避免搭便车。在 ChainSWE 上,27B 模型解决率从 21.0% 升至 25.7%,步数减少 17%,token 减少 11%。
编程智能体在同一个代码库上连续处理任务时,会把之前的修改和记忆带到下一个任务中。但下一个任务是什么,智能体事先并不知道。这就带来一个根本矛盾:记忆写多了,未来可能用得上,但也意味着更高的写入和读取成本;写少了,又可能错失关键信息。如何权衡?CoReMem 框架给出了一个将成本内部化的答案。

记忆的价值需要被“测量”而非猜测
传统做法往往依赖启发式规则来决定记忆内容,比如保留最近的修改、优先存储高频出现的文件路径。CoReMem 的核心思路不同:它通过前瞻性片段估值(prospective segment valuation)来量化每一段轨迹对下一个任务的实际价值。
具体而言,研究者会在相同的继承仓库状态下,对比“有该轨迹片段”和“无该轨迹片段”两种情况下执行下一个任务的表现差异。这种 A/B 式的对照让记忆的价值变得可测量,而不是靠直觉判断。基于此,CoReMem 引导构建一种紧凑的记忆结构,围绕锚点(anchors)组织——锚点包括仓库位置和可执行检查。这意味着记忆不是大段的自然语言摘要,而是指向关键代码位置和验证手段的索引。
智能体如何学会“何时用记忆”
有了记忆,还要解决另一个问题:智能体在任务推进过程中,需要判断何时依赖已有记忆能节省精力。CoReMem 的演员适配(actor adaptation)机制在 rollout 组内估计 on-policy 记忆价值,对比有记忆和无记忆两种情况下的表现。
其奖励设计有一个值得注意的细节:优先考虑问题解决率,同时对成功运行中的步数进行惩罚。这引导智能体在解决问题时追求效率,而不是无意义地增加步骤。换句话说,记忆的价值不仅体现在“能不能解决”,还体现在“解决得多快”。
on-policy(同策略) 是强化学习中的核心概念,指用于训练的数据(rollout)由当前正在优化的策略本身生成,而非来自旧策略或人类示范。CoReMem 的演员适配之所以强调在 rollout 组内估计记忆价值,是因为只有在同策略数据上对比“有记忆”与“无记忆”的表现,才能反映智能体当前行为模式下记忆的真实边际贡献。若使用离策略数据,记忆价值估计会因策略分布偏移而失真,导致奖励信号与实际决策脱节。这也解释了为何奖励设计要同时惩罚成功运行中的步数——它迫使智能体在同策略轨迹上主动学习“何时调用记忆更划算”,而非被动依赖启发式规则。
溯源门控的信用分配
在强化学习中,信用分配始终是难题。CoReMem 采用溯源门控价值信用(provenance-gated value credit):额外的那部分价值项只分配给被识别为使用了记忆提供的锚点的步骤,而每一步仍然保留结果信用。
这种设计避免了“搭便车”问题——没有使用记忆的步骤不会因为记忆带来的整体收益而获得额外奖励,从而让学习信号更精准地指向记忆的有效使用行为。
信用分配(credit assignment) 是多步决策强化学习中的经典难题:当一条轨迹最终获得奖励时,如何判断哪一步或哪几部分行为促成了成功。在记忆增强的智能体中,问题更复杂——整体收益可能来自记忆提供的锚点,也可能来自智能体自身的推理能力。溯源门控的本质是一种结构化掩码:它利用轨迹中可追溯的来源标记(即某一步是否引用了记忆锚点),将额外的价值项精确路由到相关步骤。这与资格迹或奖励塑形的思路相通,但区别在于门控依据的是可验证的来源信息而非时间衰减。其直接效果是降低信用分配的方差,使策略梯度更稳定地强化“有效使用记忆”这一行为模式。
实测效果:解决率与效率双提升
在 ChainSWE 基准上,CoReMem 让一个 27B 参数的演员模型将解决率从 21.0% 提升到 25.7%。同时,相对于未训练且无记忆的演员模型,总步数减少了 17%,缓存感知的总 token 数减少了 11%——这已经包含了记忆模块调用的开销。
这些数据说明,将记忆成本内部化并没有以牺牲效率为代价,反而在提升解决率的同时降低了资源消耗。解决率的绝对提升看起来不大,但在连续编程任务这种复杂场景下,每个百分点的进步都对应着大量失败案例的减少。
ChainSWE 是面向连续软件工程任务的基准,其设计核心是让智能体在同一个代码库上依次处理多个相互关联的任务,每个任务都继承前序任务的仓库状态。这与传统单任务 SWE 基准的关键差异在于:智能体必须跨任务管理状态与记忆,且后续任务的内容对智能体不可预知。因此,ChainSWE 天然适合评估记忆机制的价值——记忆写多了增加成本,写少了丢失关键上下文,基准通过任务链的累积效应放大这种权衡的影响。CoReMem 在该基准上的提升幅度(解决率 +4.7 个百分点)需要放在这种长链条、高不确定性的设定下理解,其意义不仅在于绝对值,更在于同时实现了步数与 token 数的下降。
对编程智能体设计的启示
CoReMem 的贡献不在于提出某种更大的记忆模块,而在于建立了一套用下游任务表现来反向指导记忆设计的框架。记忆不再是静态的存储,而是可以被估值、被选择、被训练的动态组件。
对于构建编程智能体的团队来说,这意味着在考虑记忆方案时,应该把写入和读取成本纳入优化目标,而不是先存了再说。前瞻性估值和溯源门控信用分配这两个机制,也可以迁移到其他需要跨任务状态传递的智能体场景中。
相关推荐

Gemini 4 Neon 曝光:或成 Opus 5.5 有力竞争者
Hacker News 讨论帖指出 Gemini 4 Neon 看起来像 Opus 5.5 的竞争者。本文解读这一社区信号背后的产品定位、顶级模型竞争格局变化,以及对开发者模型选型策略的实际意义。

Claude Fable 5.2 独立创作短片《Fable》引热议
Hacker News 上出现由 Claude Fable 5.2 独立完成剧本、画面与导演的短片《Fable》,本文分析全流程 AI 创作的意义、社区反应及对内容创作者的启示。

Anthropic IPO定价:AI巨头上市信号
Anthropic 进行 IPO 定价的消息引发关注。本文分析这一动作对 AI 行业估值、商业化路径和竞争格局的潜在影响,并指出公开市场对 AI 公司的期待与挑战。