WeAct：动态权重切换，让AI智能体按需调用能力

长程智能体需要从交错轨迹中学习多种异构能力，但共享参数更新容易导致灾难性遗忘。WeAct 提出将能力特定的 LoRA 适配器选择加入智能体的动作空间，通过原生工具调用接口实现按需能力组合。在八个深度研究基准上，Qwen3-32B 搭配 WeAct 平均准确率比全量微调高 6.2%，比最强静态 LoRA 合并方法高 27.5%。

问题：固定参数配置难以应对动态任务

长程智能体的执行轨迹往往跨越多个阶段，不同阶段需要不同能力——前期可能偏重信息检索，中期需要代码计算，后期则依赖写作整合。传统做法要么联合训练所有能力，要么静态合并多个 LoRA 适配器，但两者都在整个执行过程中维持固定的参数配置。

这种固定配置的代价是显而易见的。当模型为了学习新能力而更新共享参数时，先前习得的能力可能被覆盖，造成灾难性遗忘。静态合并虽然避免了训练冲突，却无法根据轨迹阶段动态调整能力权重，本质上仍是一种“一刀切”的方案。

WeAct 的核心观察很简单：既然智能体已经能通过工具调用接口动态选择外部工具，为什么不能把“切换内部权重”也作为一种动作？

灾难性遗忘（Catastrophic Forgetting）是神经网络持续学习中的经典问题：当模型在序列任务上依次训练时，为新任务更新共享参数会覆盖旧任务所依赖的权重，导致旧任务性能急剧下降。在长程智能体场景中，这一现象尤为突出，因为不同阶段所需能力（检索、计算、写作）差异极大，联合训练时梯度方向相互冲突，共享参数难以同时满足所有能力的需求。

LoRA（Low-Rank Adaptation）是一种参数高效微调方法，它冻结预训练模型的主干权重，在特定层旁路注入低秩分解矩阵对（A 和 B），仅训练这两个小矩阵来适配下游任务。由于可训练参数量通常不到原模型的 1%，LoRA 大幅降低了训练成本，并且不同 LoRA 模块之间天然隔离，这为 WeAct 的模块化设计提供了基础。

方法：把适配器选择纳入动作空间

WeAct（Weight-level Internal Actions）在冻结的主干模型上训练多个能力特定的 LoRA 适配器，每个适配器对应一种能力，例如检索、代码计算或写作。关键在于，适配器的选择被建模为智能体的一种内部动作，与调用外部工具并列。

这些内部动作复用模型原生的工具调用接口，因此不需要额外的路由模块或控制器。智能体在共享上下文中根据当前任务需求，自主决定激活哪个适配器，实现按需的能力组合。整个过程中主干参数保持不变，适配器之间也互不干扰。

这种设计带来两个直接好处。其一，能力学习与能力调用解耦，新增能力只需训练新的适配器，不影响已有能力。其二，适配器选择动作与外部工具调用共享同一套接口，降低了智能体决策逻辑的复杂度。

工具调用接口（Tool Calling / Function Calling）是大语言模型与外部系统交互的标准机制：模型在生成过程中输出结构化的函数名与参数，由运行时环境执行并返回结果。主流模型（如 Qwen 系列）在训练中已内化了这一协议，能够根据上下文自主决定何时调用哪个工具。WeAct 的关键洞察在于，这一接口本质上是一个“动作选择器”，它不关心被选中的是外部 API 还是内部权重模块，因此可以把 LoRA 适配器的切换编码为一次工具调用，从而零额外开销地复用模型已有的决策能力。

实验：更少算力，更高准确率

研究团队在八个深度研究基准上评估了 WeAct，基座模型为 Qwen3-32B。结果显示，WeAct 的平均准确率相比全量微调的对应方案提升了 6.2%，而使用的算力反而更少。与最强的静态 LoRA 合并方法相比，提升幅度达到 27.5%。

这一对比值得注意：静态合并方法虽然也利用了多个适配器，但合并后的权重是固定的，无法随轨迹阶段变化。WeAct 的动态切换让模型在不同阶段调用不同能力，避免了能力之间的相互稀释。

从算力角度看，冻结主干意味着大部分参数无需梯度更新，训练成本集中在少量适配器上。对于需要持续扩展能力的智能体系统，这种模块化方式显然更具可持续性。

静态 LoRA 合并（Static LoRA Merging）是指将多个分别训练好的 LoRA 适配器通过加权求和、Task Arithmetic 或 TIES 等方法合并为单一权重集合，推理时只加载合并后的结果。这类方法避免了训练时的任务冲突，但合并权重在整个推理过程中固定不变，无法根据输入或轨迹阶段动态调整。当不同能力对应的适配器在参数空间中方向差异较大时，简单合并会造成相互干扰与能力稀释，这正是 WeAct 动态切换方案在准确率上大幅领先的根源。

模块化持续适应：新增能力不伤旧能力

WeAct 还展示了模块化持续适应的能力。实验中，团队新增一个代码计算适配器来扩展智能体的能力，同时更新已有的写作适配器以提升报告质量。两次更新都没有改动主干模型和其他适配器。

这解决了持续学习中的一个实际难题：智能体上线后总需要新能力，但每次更新都不应让旧能力退化。WeAct 通过适配器隔离实现了这一点——新能力是增量添加，旧能力的适配器保持原样，主干作为共享底座也不受影响。

对于需要长期演进的智能体产品，这种特性意味着可以按能力模块独立迭代，而不必每次重新训练整个模型。

局限与启示

WeAct 的当前验证集中在深度研究类任务和 Qwen3-32B 基座上，适配器数量与能力粒度如何随任务复杂度扩展，原文未给出充分讨论。适配器选择动作本身也需要智能体学会正确决策，这对训练数据的质量和覆盖度提出了要求。

不过，其核心思路具有通用性：把参数配置从静态预设变为动态动作，让智能体在执行过程中自主管理自身能力。这与工具调用的发展路径一致——从固定流程走向按需组合。当模型能力越来越多地以模块化形式存在时，如何调度这些模块本身，正在成为智能体设计的关键问题。