[控场AI]
· 4 分钟阅读· 2,477 字

Continual-ARC:终身学习新基准,揭示AI技能习得的真实瓶颈

Continual-ARC:终身学习新基准,揭示AI技能习得的真实瓶颈

Continual-ARC基准揭示:智能体框架难超简单缓存,权重学习才具泛化优势。

研究者提出 Continual-ARC,一个基于三届 ARC-AGI 任务构建的终身学习流,旨在解决现有持续学习基准领域单一、实例不重复、学习者类型受限的问题。该基准让相同任务在休眠后以新实例回归,并用反馈预算比例计分,使基于记忆与基于权重的系统可在同一尺度比较。实验覆盖缓存、提示、程序归纳与参数学习等范式,结果显示:harness 持久化通常不提升记忆,多数 harness 方法低于简单缓存基线,且无任何 harness 方法在未见任务上获得泛化增益;相反,基于权重的学习展现出显著泛化提升。这指向未来方向——通过权重级持续学习让模型真正学会驱动 harness。

为什么需要新的持续学习基准?

持续学习一直是AI领域的核心挑战之一。近年来,Agent harness(智能体执行框架)和测试时参数学习被视为有前景的机制,但现有的基准测试存在明显局限:它们通常只关注单一应用领域,每个实例只出现一次,并且假设单一类型的学习者,导致基于记忆的系统与基于权重的系统很少能在同一尺度上比较。

针对这些问题,研究者提出了 Continual-ARC——一个基于三届ARC-AGI竞赛任务构建的终身学习流。ARC-AGI任务不需要领域知识,因此适合衡量通用技能习得。在Continual-ARC中,相同任务会在休眠期后以全新实例回归,同时新任务不断涌入,模拟了真实工作生涯中技能复用与拓展的场景。

Continual-ARC 基准示意图

Continual-ARC 如何运作?

任务流与反馈预算

每个实例中,学习者可以选择付费获取演示、提交答案,或在harness内行动。错误提交允许重试,但需要付费。每个实例的得分基于消耗的反馈预算比例——消耗越少,得分越高。这种设计迫使学习者在探索与利用之间做出权衡。

由于学习者在实例之间可以保留任何信息,基于记忆的系统(如缓存)和基于权重的系统(如参数微调)得以在同一评分尺度上竞争。这解决了以往基准中两类系统难以直接比较的问题。

Agent harness(智能体执行框架) 指围绕大模型构建的一套外层执行 scaffolding,通常包括工具调用接口、记忆存储、提示编排、结果解析与重试逻辑等。它本身不改变模型权重,而是在推理阶段为模型提供结构化的行动空间。与之相对的“基于权重的学习”则通过梯度更新修改模型参数,把经验写入参数本身。二者在持续学习中的关键差异在于:harness 的“学习”体现在上下文或外部缓存中,会话结束即可能丢失;权重学习则把技能固化下来,可迁移到新任务。理解这一区分是读懂本文实验对比的前提。

反馈预算(feedback budget) 是衡量学习者获取监督信号所需代价的机制。在 Continual-ARC 中,获取演示、提交错误答案都要消耗预算,得分按消耗比例反向计算。这类似于现实场景中调用专家、试错的成本:一个善于利用少量反馈就掌握规律的系统,比反复试错才成功的系统更“高效”。该设计把“学习效率”而非单纯的“最终正确率”纳入评价,从而能区分死记硬背与真正习得。

冻结后的双重测试

数据流结束后,学习者被冻结,并在两类新实例上测试:

  • 记忆测试:面对曾经见过的任务的新实例,衡量记忆能力。
  • 泛化测试:面对完全未见的任务,衡量泛化能力。

这种设计清晰区分了“记住”和“学会”,避免了将记忆误判为技能习得。

记忆测试与泛化测试的区分 对应机器学习中“记忆(memorization)”与“泛化(generalization)”的经典二分。记忆测试使用已见任务的全新实例,检验系统能否在任务层面复用经验——这要求系统不仅记住具体答案,还要识别任务类型并调用相应策略。泛化测试则使用完全未见的任务,检验系统能否把在旧任务中学到的抽象技能迁移到新情境。两者结合可以避免一种常见误判:系统在旧任务新实例上表现好,可能只是缓存了相似输入,而非掌握了可迁移的规律。只有泛化测试上的提升,才真正说明技能被内化。

实验设计:谁更擅长持续学习?

研究者运行了权重冻结的Agent harness(有无持久化两种设置),基于Qwen3.5-9B和GLM-5.3 Flash两个模型,并与两个提示基线(prompting floors)、一种程序归纳方法以及Qwen3.5-9B模仿GLM-5.3 Flash训练得到的权重版本进行比较。

多源交叉验证显示,这一实验设置覆盖了当前主流的持续学习范式:基于记忆的缓存、基于提示的上下文学习、基于程序归纳的符号方法,以及基于权重的参数学习。

关键发现:harness 的局限与权重的潜力

持久化并非万能药

实验表明,harness中的持久化(persistence)通常不能提升记忆能力,除非提供明确的专家指导。换句话说,让智能体“记住”过去的经验,并不自动转化为更好的表现。

缓存基线难以超越

在所有测试模型上,大多数基于harness的方法学习效果仍低于一个简单缓存每个任务演示的基线(floor)。这意味着复杂的智能体框架在持续学习场景下,未必比朴素的记忆策略更有效。

缓存基线(cache baseline) 指一种极简策略:把每个任务此前出现过的演示或答案原样存储,遇到新实例时检索并复用。它不需要任何模型推理或参数更新,是持续学习中最朴素的“记忆”实现。把它设为 floor 的意义在于:任何更复杂的 harness 方法若无法超过它,就说明其额外的框架复杂度没有带来实际收益。实验中多数 harness 方法低于该基线,提示当前智能体框架的“学习”往往只是变相的检索与拼接,尚未形成超越简单记忆的机制。

泛化差距显著

没有任何基于harness的方法在未见任务上获得提升,而基于权重的学习则展现出显著增益。这一对比指向一个核心结论:当前harness方法擅长利用上下文,但难以将经验内化为可泛化的技能。

对未来的启示

Continual-ARC的推出为持续学习研究提供了一个更公平、更全面的测试平台。其结果揭示了一个重要方向:未来的权重级持续学习有望教会模型在新领域中驱动harness。换句话说,让模型通过参数更新真正“学会”如何学习,而不是依赖上下文中的临时记忆。

对于AI研究者和开发者而言,这一基准提醒我们:在追求更复杂的智能体框架之前,先确保评估方法能够区分记忆与泛化。否则,我们可能高估了系统的实际学习能力。

更多细节可参考原论文。

#Continual-ARC#持续学习#终身学习#ARC-AGI#Agent harness#权重学习#泛化能力#记忆与泛化
分享:

相关推荐