CopilotKit 发布 CLiF：把 Agent 轨迹变成技能与评测数据

为什么 Agent 落地总是卡在"最后一公里"

搭建一个能跑通 Demo 的 AI Agent 并不难，难的是让它在一个具体产品里稳定地完成端到端的复杂任务。即便底层用的是 Fable、Astra 这类第一梯队模型，团队依然会发现：同一个工作流跑十次，可能有三次在某个环节掉链子。

拉开差距的关键往往不在模型本身，而在于针对特定业务流的评测（eval）。为了搞清楚 Agent 到底在哪一步出错，团队不得不手工编写成百上千条评测用例，把每条工作流拆开逐点验证。这个过程既慢又贵，而且写完之后 Agent 一旦迭代，评测集又要跟着改。CopilotKit 推出的 CLiF（Continual Learning Framework）想解决的正是这个环节——把 Agent 运行时留下的轨迹和用户实际操作，自动转化成可复用的技能、评测和微调数据。

AI Agent 与工作流（Workflow）的区别：传统工作流是由人预先编排好的确定性流程，每一步调用什么工具、传什么参数都是硬编码的；而 AI Agent 依赖大模型在运行时自主决定下一步动作，具有非确定性。这正是"跑十次掉链子三次"的根源——即使模型能力很强，多步推理中任何一步的偏差都会被后续环节放大。业界通常用"端到端任务成功率"来衡量 Agent 的可靠性，而复杂任务往往需要串联十几个步骤，单步 95% 的成功率累积到第十步就只剩六成左右，这就是"最后一公里"难题的数学本质。

CLiF 的底层思路：把"用过的经验"沉淀下来

CLiF 的名字里带着"持续学习"，但它并不是在训练时改模型权重的那类持续学习。它关注的是一条更务实的数据链路：Agent 在生产环境中每次执行任务都会留下 trace（轨迹），用户每次对结果做出接受、修改或拒绝，也都是一次带标签的反馈。这些信号原本散落在日志里无人问津，CLiF 把它们收集起来，整理成三类可复用的资产。

• 技能（Skills）：从成功轨迹中抽取出可复用的操作序列，让 Agent 下次遇到相似任务直接调用，而不是从零推理。
• 评测（Evals）：把真实发生的任务场景转成评测用例，替代大量手写测试。
• 微调数据（Fine-Tuning Data）：把用户纠正过的输入输出配对，整理成可用于模型微调的数据集。

这条链路的价值在于闭环：用得越多，沉淀的资产越厚，Agent 的表现就有机会随之提升，而不需要每次都靠人工从零构建评测集。

Trace（轨迹）与 Eval（评测）的技术含义：Trace 指 Agent 一次完整执行过程中留下的结构化记录，通常包括每一步的输入、模型输出、调用的工具、参数、返回值以及最终的延迟和 token 消耗，类似分布式系统中的链路追踪。Eval 则是对 Agent 表现的量化检验，常见形式包括结果正确性比对、工具调用是否合理、以及基于 LLM-as-a-Judge 的自动打分。传统评测集由人工编写并冻结，而 CLiF 主张的"评测即数据管道"思路，是把 trace 直接当作评测用例的来源，使评测集随产品演化自动生长，避免评测与实际使用场景脱节。

从轨迹到资产：三个环节分别解决什么问题

评测生成：用真实场景替代手写用例

手工评测最大的问题是覆盖面依赖人的想象。你只能测到你想到的边界情况，而真实用户的行为往往超出预期。CLiF 从实际发生的 Agent 轨迹里提取评测场景，相当于让生产环境自己"出题"。这对那些工作流复杂、边界条件多的产品尤其有用——轨迹里天然包含了各种真实输入和失败分支，比闭门造车式的用例更贴近实战。

技能提取：让成功经验被复用

一个 Agent 在某个任务上跑通过一次，不代表下次还能跑通。如果能从成功轨迹中提炼出稳定的操作模式并固化为技能，就可以减少重复推理带来的不确定性。这一思路和当下 Agent 领域流行的"技能库"方向一致：把可复用的能力显式存下来，而不是每次都依赖模型即兴发挥。

微调数据：让用户反馈直接变成训练素材

用户对 Agent 输出的每一次修改，本质上都是一条高质量的偏好数据。把这些修正整理成微调数据集，可以用于后续的模型优化。相比人工标注，这类数据的获取成本更低，且带着真实的使用上下文。

微调与偏好数据（Preference Data）：微调是在预训练模型基础上用特定领域数据继续训练，使模型更贴合具体任务，常见方式有 SFT（监督微调）和基于人类反馈的 RLHF/DPO。用户对 Agent 输出的每一次修改，形式上就是一对"模型原始输出（负例）—用户修正后结果（正例）"的偏好样本。相比专门雇佣标注员，这种来自真实使用的反馈天然带有上下文，且边际成本极低。但需要注意，偏好数据存在选择偏差——愿意动手修改的用户往往只是少数，且不同用户的修改标准并不一致，因此在使用前通常需要过滤、去重和一致性校验。

这件事对 Agent 工程意味着什么

Agent 领域的竞争正在从"谁的模型更强"转向"谁的数据闭环更高效"。模型能力趋同之后，能不能持续从真实使用中学习，成了产品能不能稳定交付的分水岭。CLiF 押注的正是这个方向：把 Agent 的运行时数据当成一等公民，而不是用完即弃的日志。

需要注意的是，这类平台的效果高度依赖数据质量和场景匹配度。轨迹数据本身噪声不小，成功轨迹未必代表最优解法，用户修正也未必总是对的。如何从杂乱信号中筛出真正有价值的样本，是 CLiF 以及同类工具都必须回答的问题。对正在为 Agent 评测和迭代发愁的团队来说，CLiF 提供了一个值得评估的思路——但要判断它是否适合自己，还得看它在你具体业务流上的沉淀效果。