FDE-Gym基准：AI交付最后一步为何卡住

AI Agent评测的新战场：从明确任务到模糊需求

现有Agent基准测试大多聚焦于定义清晰的任务——issue报告、规格文档、任务工单。这类评测有一个共同假设：问题已经被完整描述，Agent只需执行。

但真实的客户交付完全不同。Forward-Deployed Engineer（FDE，前置部署工程师）面对的是模糊的需求、运行中的生产系统、以及大量未被言明的约束条件。FDE-Gym的提出正是为了填补这一评测空白：它构建了来自18个行业、20个客户场景的95个端到端交付任务，每个任务都由行业专家从真实交付项目中改编而来。

Forward-Deployed Engineer（FDE） 是源自Palantir等企业软件公司的一种工程师角色，其核心特征是直接驻场于客户现场，负责将通用产品能力适配到客户的具体业务场景中。FDE面对的不是清晰的需求文档，而是客户模糊的口头描述、遗留系统的历史包袱以及组织内部未明说的政治约束。这一角色的工作模式与AI Agent在真实交付中的定位高度相似：Agent需要主动澄清需求、在现有系统上增量式修改、并在有限时间内交付可衡量的业务价值。FDE-Gym以这一角色为蓝本构建评测，本质上是把"AI能否像优秀FDE一样工作"作为衡量标准。

Agent基准测试（Agent Benchmark）是近年来快速发展的评测领域，代表性工作包括SWE-bench（真实GitHub issue修复）、WebArena（网页操作）、GAIA（通用助手任务）等。这些基准的共同特点是任务描述相对完整，评分标准明确（如测试是否通过、答案是否匹配）。FDE-Gym的差异化定位在于：任务输入本身是不完整的，Agent必须先通过主动交互来补全信息，且评估指标是开放式的业务KPI改进幅度，而非简单的对错判定。这使其更接近真实客户交付的复杂性。

评测设计：模拟真实交付环境

FDE-Gym的核心创新在于评测范式的转变。它不是让Agent回答一个问题或生成一段代码，而是让Agent在模拟的客户环境中与脚本化利益相关者（stakeholder）互动，在可修改的类生产系统上操作，最终交付可用的解决方案。

评分机制围绕客户自身的成功指标：以0（系统未改善）到1（参考解决方案）为区间归一化。同时，与利益相关者的互动（发消息、试运行、等待时间）都会被计入惩罚——这意味着Agent不能靠无限次沟通来"磨"出答案，必须像真正的FDE一样权衡信息获取的成本。

平台还提供在线人类练习模式，使用相同的评分标准，为人类与AI的对比提供了基准线。

脚本化利益相关者（scripted stakeholder） 是FDE-Gym环境中的关键组件，指由预定义规则或语言模型驱动的虚拟客户角色，如业务负责人、运维工程师、数据分析师等。Agent可以通过发消息向他们提问或请求数据，但每次交互都会产生成本惩罚。这种设计模拟了现实中FDE面临的困境：客户的时间有限、沟通带宽稀缺，频繁打扰会损害信任。与开放式对话环境不同，脚本化stakeholder的回答范围和触发条件被严格控制，确保评测可复现。

归一化评分（0到1区间） 的设计使不同任务的得分可以横向比较。0分对应Agent未对系统做任何有效改进，1分对应团队提供的参考解决方案达到的效果。这种相对评分避免了绝对指标的行业差异问题——例如电商的转化率提升与制造业的良率提升无法直接比较，但归一化后都映射到同一尺度。需要强调的是，评分同时惩罚无意义的交互行为，这意味着Agent的最优策略不是最大化信息采集，而是在信息充分性与交互成本之间寻找平衡点。

13个模型配置的成绩单：最好的只有0.56

研究团队评估了来自7个提供商的13种模型配置。在最接近现实的设定中——即未言明的约束条件需要被主动发现——表现最好的配置平均FDE-Gym得分仅为0.56，95个任务中只有14个被真正解决（得分不低于0.8且无事故）。

这个数字意味着：即使是当前最强的模型配置，在超过85%的真实交付场景中无法交付合格结果。

瓶颈分析：发现隐含约束是第一道坎

研究揭示了一个清晰的瓶颈：当模型需要在没有明确指引的情况下自行发现未言明的约束时，性能急剧下降。这与传统基准中模型在明确任务上的表现形成了鲜明对比。

但这只是故事的一半。团队发现，仅靠信息发现能力也无法解释全部差距。在23个任务中，最佳配置成功从利益相关者处获取了所有关键事实，但其中只有10个任务的归一化业务提升达到0.8以上。

这说明问题不只在于"找到信息"，还在于"拿到信息后如何转化为有效的交付方案"。发现约束是必要条件，但远非充分条件。

未言明的约束（unstated constraints） 指的是客户在需求描述中没有明确指出，但对方案可行性构成硬性限制的条件。例如，客户可能要求"优化推荐系统"，但未提及该系统需在不增加GPU资源的前提下运行，或不能使用某类用户数据（合规原因）。在FDE-Gym的评测中，这类约束被有意隐藏在stakeholder的对话或系统行为中，Agent必须通过提问、试运行、观察异常等方式主动发现。这一能力在传统基准中几乎不被考察，因为那些任务通常已把所有约束写入描述。

任务解决率与归一化得分的区别值得厘清。归一化得分衡量的是"改进了多少"，而任务解决的标准（得分≥0.8且无事故）要求Agent既要达到接近参考方案的效果，又不能引入新的系统故障或违反约束。"无事故"这一条件的加入，反映了生产环境中"不造成破坏"与"做出改进"同等重要的现实。这也解释了为何得分0.56与解决率14/95之间存在显著差距：部分任务Agent可能取得了一定改进，但因触发事故或未达阈值而不计入解决。

对AI交付的启示

FDE-Gym的结果指向一个被行业长期低估的事实：解决定义清晰的任务和为客户交付有效的AI系统之间存在实质性鸿沟。

对于构建AI Agent产品的团队，这意味着几个方向值得关注：一是Agent的主动信息获取能力需要在成本约束下优化，而非不计代价地探索；二是即使信息完备，从理解到交付的转化链路仍有大量工程问题待解；三是FDE-Gym提供了一个可量化的评测框架，让"最后一公里"的进展变得可衡量。

AI交付的最后一步，可能比前面所有步骤加起来都更难。

成本约束下的主动信息获取是Agent能力研究的新方向。传统ReAct、Reflexion等框架鼓励Agent尽可能多地探索和反思，但FDE-Gym的惩罚机制表明，在实际交付中"问对问题"比"问很多问题"更重要。这要求Agent具备对信息价值的预估能力：判断某次交互是否可能带来关键约束的发现，以及该发现对最终方案的影响权重。这一能力目前在大模型中尚未被有效训练，是未来Agent研究值得投入的方向。

从理解到交付的转化链路涉及多个工程环节：约束形式化、方案设计、代码实现、系统集成、验证回滚等。FDE-Gym的实验显示，即使Agent掌握了全部关键事实，转化成功率仍不足一半，说明当前模型在长链路复杂任务上的规划与执行能力存在系统性短板。这一发现对企业落地AI Agent具有警示意义：不要假设"信息给足就能交付"，而应在人机协作流程中保留人类的判断与兜底环节。