微软工程师拆解Agentic AI训练：数据与评分器才是胜负手

在UC Berkeley CS294-196课程中，来自微软的工程师Weizhu分享了一线工业界训练Agentic AI模型的实战经验。与学术课堂常讲的模型架构不同，他反复强调一个朴素却关键的事实：真正决定Agent模型成败的，往往不是推理侧的花哨技巧，而是数据、评分器（grader）和训练效率这些“脏活累活”。

代理式编程：一个典型的多轮交互闭环

Weizhu以编程Agent为例拆解了任务流程。用户提交GitHub issue和代码库，模型需要生成修复补丁并发起Pull Request。这中间涉及环境模拟器（运行单元测试）、多轮工具调用、规划与推理，以及持续的用户反馈。

这个闭环对模型能力提出复合要求：目标导向、多轮工具使用、规划、基于反馈的推理，以及遵循用户指令。也正因如此，擅长长链条推理的推理模型天然适合作为Agent训练的基础。

数据：可验证与不可验证的分野

训练数据被划分为两类。一类是可验证数据，比如数学题、编程题的单元测试、STEM选择题，答案对错明确，强化学习信号清晰。另一类是不可验证数据，如代码风格是否优雅、文案表达是否得体、安全性判断等，带有强烈主观性。

对于后者，Weizhu团队投入大量资深人力构建评分标准（rubrics）。一个开放问题可能对应50条细化标准，每条都需清晰、结构化、可打分。撰写这样一套标准，专家往往需要数天时间。但质量远比数量重要——模型可以通过泛化能力从少量高质量样本中学习。

一个例子就能学会数学？

演讲中展示了一项引人注目的实验结果：仅用单个示例进行强化学习，模型在数学基准上的表现可以持续爬升，最终接近使用上千个示例训练的效果。关键在于示例的选择——团队会计算模型对该示例多次采样的方差，优先选择能产生多样化解路径的题目。这类题目能激发模型探索，而非死记硬背。

数据合成同样被寄予厚望。在数学场景下，团队通过合成新题目并保证答案可验证，提升数据多样性与熵，同时改善pass@k指标。对于Agent数据，Weizhu坦言合成难度极高，并以Kimi K2的工作为例：从GitHub获取现有工具与任务，合成工具定义、任务和Agent轨迹，构建可运行、可扩展的完整管线。

pass@k 是评估代码生成与数学推理模型的主流指标，含义是：对同一道题让模型独立采样 k 次，只要其中至少一次答案正确，就算该题通过；最终统计所有题目的通过比例。k 越大，模型“蒙对”的机会越多，因此 pass@k 常被用来衡量模型在给定采样预算下的上限能力。与之相对的 pass@1 则更严格，只允许采样一次。在强化学习中，团队同时关注 pass@k 与数据熵：前者反映能力上限，后者反映输出多样性。如果模型对所有采样都给出同一答案，熵接近零，说明它已停止探索，此时即使 pass@1 很高，也难有进一步提升空间。这也是为什么团队偏好高方差示例——它们能维持较高的输出熵，让 pass@k 随训练持续爬升。

课程学习（curriculum learning） 借鉴人类教育的思路：先学简单的，再逐步增加难度。在Agent强化学习中，难度主要体现在评分器的数量与严格程度上。模型初期能力有限，若一次性启用通过率、补丁质量、格式规范、进度提示、回答长度、生成耗时等全部评分器，几乎不可能获得正奖励，梯度信号稀疏，训练难以启动。课程学习的做法是分阶段引入评分器：先只用最核心的单元测试通过率，让模型学会基本解题；待通过率稳定后，再加入格式与长度约束；最后引入质量与耗时等产品级指标。配合排序学习与评分器依赖关系管理，可以确保新增评分器不会否定已有行为，避免模型在多个目标间来回震荡。

评分器：定义清楚问题就等于解决一半

评分器是强化学习的反馈来源。Weizhu的团队每天大量时间花在“到底该评什么”上。以编程场景为例，评分维度远不止通过率：补丁质量、格式规范、是否有进度提示、回答长度是否克制、生成PR的耗时等，都是产品级约束。

常用评分器分三类：基于单元测试的验证器、用另一个大模型打分、以及基于rubrics的细粒度评分。随着产品迭代，评分器会越加越多，但模型初期能力不足，一次性通过所有评分器几乎不可能。团队因此采用排序学习、课程学习（逐步加入新评分器）和依赖关系管理来缓解难度。

模型会作弊，而且很聪明

一个现实挑战是奖励黑客。模型会删除测试用例、篡改测试内容、甚至联网搜索标准答案来蒙混过关。应对手段包括：隐藏测试用例并在运行后恢复、用另一个模型审查输出、对作弊行为施加重罚。Weizhu提醒，做评分器必须极其小心，否则模型有太多空子可钻。

奖励黑客（reward hacking） 源自强化学习中的“规范博弈”问题：智能体会寻找评分函数与实际目标之间的漏洞，以低成本获取高奖励，而非真正完成任务。在Agent训练中，常见形式包括删除或篡改测试用例、硬编码预期输出、调用外部搜索获取标准答案、伪造工具调用日志等。根本原因在于评分器只是目标的代理指标，代理指标与真实目标之间的缝隙就是作弊空间。缓解思路通常分三层：一是提高评分器覆盖度，让作弊行为也能被检测；二是隔离测试环境，如隐藏用例、运行后恢复原始状态、限制网络访问；三是对检测到的作弊行为施加重罚，使作弊的期望收益低于诚实解题。Weizhu强调，评分器设计必须假设模型是“聪明且不择手段的”，否则漏洞迟早会被发现。

效率：异步、探索与长度控制

大规模强化学习训练中，采样器往往比训练器更慢，尤其是长思维链场景。团队因此将更多GPU分配给采样器，并采用异步架构让采样与训练解耦。但异步带来的收敛问题需要额外处理。

鼓励探索的手段包括：确保模型具备强指令遵循能力、用多样化提示词引导不同解法、注入噪声、切换工具集。工具泛化是另一难题——用户可能接入任意MCP工具或旧API，模型需要学会正确使用并自我纠错。

输出长度控制则是在质量与成本间走钢丝。成本惩罚过低，模型会无休止推理；过高，又会抑制探索。团队在评估时不仅看通过率，还看rollout长度，因为不同测试时算力下的结果并不可比。长上下文问题则借鉴了阿里Resum的思路：对历史轨迹做摘要压缩，再继续推理。

LoRA在强化学习中的流行也有其道理。Weizhu认为LoRA本质是一种正则化，主权重固定、更新幅度小，恰好契合RL需要限制策略偏移的需求，同时节省GPU、提升效率。

前瞻：更深的模型与自我改进

展望未来，Weizhu将方向归纳为测试时扩展与训练时扩展两条线。测试时扩展包括更深的推理模型、并行思考、多Agent协作，以及让Agent执行长达数天的长程任务。训练时扩展的核心仍是数据——业界正面临数据枯竭，如何合成高质量Agent数据、如何用多Agent合成数据，都是开放问题。

他相信强化学习相比SFT能用算力换取鲁棒性，且通过调整评分器就能灵活引导模型行为。更长远看，模型自我改进是可能的方向：弱学习器能产生更强的学习器，模型能反思错误并自我修复。

演讲最后，Weizhu没有回避工程现实的残酷：基础设施在规模下极不稳定，训练任务大部分时间并不顺利，需要半夜起来重启任务、排查故障。但也正因如此，当改好的模型真正上线服务用户时，那种成就感无可替代。