LLM智能体测试时该在哪适应:上下文还是权重?

研究对比上下文学习与权重更新两条适应路径,发现二者结合效果最佳。
该研究系统对比了LLM智能体测试时适应的两条通道:上下文学习(ICL)与权重更新(GRPO强化学习、SDPO自蒸馏)。实验在Qwen3.5-9B上覆盖SWE-bench Verified、AppWorld、ScienceWorld和BIRD-Critic-SQLite四个环境的109个任务,采用匹配任务流与先评估后适应协议。结果显示ICL提供最大独立增益,将平均成功率从28.8%提升到49.4%,叠加GRPO后达到最高的51.6%,且在每个ICL策略下均有改善;SDPO效果好坏参半。轨迹分析表明ICL减少环境查找但常跳过验证,GRPO可恢复这些行为。作者据此建议联合研究上下文管理与权重更新。
LLM智能体在代码仓库、数据库或应用套件等固定环境中反复执行任务时,会不断遇到共享潜在结构的任务。经验能揭示这种结构,让智能体复用环境知识并从反馈中学习。但适应过程究竟该依赖上下文中的经验保留,还是模型权重的更新?一项新研究系统对比了这两条路径,并给出了一个颇具启发的答案。

两条适应通道:上下文与权重
研究团队将测试时适应分为两个通道:一是将经验保留在上下文中(In-Context Learning, ICL),二是通过强化学习或自蒸馏更新权重。过去这两条路径通常被分开研究,导致人们不清楚各自贡献了什么、何时又能互补。
为了厘清这个问题,作者在一个共享的在线协议和模块化框架下,对比了三种机制:上下文学习、使用GRPO的带可验证奖励的强化学习,以及使用SDPO的自蒸馏。智能体面对匹配的任务流,在适应每个任务之前先接受评估,并且只从自己的尝试和环境反馈中学习。
GRPO(Group Relative Policy Optimization) 是 DeepSeek广告 提出的一种强化学习算法,属于 PPO 的简化变体。它不依赖单独训练的价值网络(critic),而是对同一提示采样一组(group)回答,用组内奖励的相对大小计算优势函数,从而省去价值模型带来的显存与计算开销。在带可验证奖励的场景中(如代码通过测试、SQL 执行成功),奖励信号是规则化、可自动判定的,因此 GRPO 无需人类偏好标注即可直接优化策略。这使它特别适合智能体在环境反馈中在线学习的设定:每次尝试的成败都能转化为训练信号。
SDPO(Self-Distillation Policy Optimization) 则代表自蒸馏路线:模型以自身(或历史版本)生成的较优轨迹作为监督目标,通过模仿来更新权重,而非直接依据环境奖励做策略梯度。自蒸馏能压缩并内化经验,但缺乏显式奖励信号时,容易强化已有的行为偏差,这解释了文中 SDPO 效果好坏参半的观察。
实验设置:多环境与多任务流
实验在Qwen3.5-9B模型上进行,覆盖四个环境:SWE-bench Verified、AppWorld、ScienceWorld和BIRD-Critic-SQLite,共109个任务。每个环境采用五种任务顺序,以检验适应机制的稳定性。研究共评估了14种适应机制以及一个无状态基线。
这种设计的关键在于“匹配任务流”和“先评估后适应”——智能体不能提前看到任务答案,只能依靠自身尝试积累经验,从而模拟真实部署中的在线学习场景。
四个评测环境分别考察不同能力:SWE-bench Verified 是真实 GitHub issue 修复基准,要求智能体在仓库中定位并修改代码使测试通过;AppWorld 提供模拟的日常应用与 API 套件,测试多步交互与状态管理;ScienceWorld 是文本化的科学实验环境,侧重长程推理与探索;BIRD-Critic-SQLite 面向自然语言到 SQL 的生成与纠错。它们共同点是任务共享底层结构(同一仓库、同一 API 语义、同一数据库模式),这正是智能体可复用经验的来源。
任务流(task stream) 指任务按特定顺序依次呈现给智能体的序列。之所以要设置五种不同顺序,是因为在线适应对任务先后高度敏感——若相似任务集中出现,智能体更易积累可复用知识;顺序打乱则考验机制的稳定性与泛化性。无状态基线则指不保留任何跨任务经验、每个任务都从零开始的智能体,用于衡量适应带来的净增益。
上下文学习贡献最大,GRPO锦上添花
结果显示,ICL提供了最大的独立增益:其最佳策略将跨环境平均成功率从28.8%提升到49.4%。在此基础上加入GRPO,达到了最高的平均成功率51.6%。
有意思的是,在每个ICL策略下添加GRPO都能改善总体均值,说明强化学习与上下文学习的组合具有稳健性。相比之下,SDPO的效果则好坏参半,并未表现出稳定的增益。
这一发现与直觉相符:上下文学习直接利用了环境中的共享结构知识,让智能体快速复用经验;而GRPO则进一步微调了智能体使用这些经验的方式,二者形成互补。
行为分析:ICL减少查找,但可能跳过验证
轨迹分析揭示了更深层的机制。在ICL下,智能体表现出更少的查找次数和更短的尝试,这与复用共享结构知识相一致——智能体不必每次都从头探索环境。
但ICL也带来一个副作用:智能体经常跳过对当前任务的检查和验证。换句话说,经验复用让智能体变得“自信”,却可能忽略当前任务的独特性。
而将GRPO加入ICL后,有助于恢复这些检查和验证行为,同时保留ICL减少环境查找的优势。这表明,带可验证奖励的强化学习能够精炼智能体使用保留经验的方式,而非简单地替代上下文学习。
启示:上下文管理与权重更新需联合研究
这项研究传递的核心信息是:上下文学习和权重更新不是非此即彼的选择。ICL擅长快速复用环境知识,GRPO则能纠正经验复用带来的行为偏差,两者结合才能达到最佳效果。
作者由此提出,未来应联合研究上下文管理与权重更新,而不是将二者割裂。对于构建长期在固定环境中运行的LLM智能体而言,这一思路具有直接的工程指导意义——既要让智能体记住环境的结构,也要让它学会在具体任务面前保持审慎。
在测试时适应的设计中,上下文提供“知道什么”,权重更新则调整“如何行动”。两者的协同,或许才是智能体在复杂环境中持续进化的关键。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。