Scale AI AgentEnv 评测框架现已登陆 Vercel Sandbox

Scale AI 的 AgentEnv 框架现在可以在 Vercel Sandbox 上运行了。这个框架用于在具体任务中测试智能体（agent）并对结果进行评分。Vercel 提供商已包含在 AgentEnv 0.9.1334 及更高版本中，它会把智能体及其任务环境放在两个独立的 Sandbox 里运行。

Run Scale AI’s AgentEnv evals on Vercel Sandbox

什么是 AgentEnv？

AgentEnv 是 Scale AI 推出的智能体评测框架，核心思路是让智能体面对真实任务，然后根据其表现打分。与只考察模型输出文本的传统评测不同，AgentEnv 把智能体放到一个可交互的环境中，记录它执行的操作，并最终给出任务得分。

这种评测方式更接近实际部署场景：智能体需要理解任务、规划步骤、调用工具，并在环境中留下可追溯的行为轨迹。对于开发者和研究者来说，AgentEnv 提供了一种可复现的方式来比较不同智能体实现之间的差异。

智能体评测（Agent Evaluation） 与传统的大语言模型评测有本质区别。传统评测（如 MMLU、GSM8K）通常只检查模型单次输出的文本是否正确，是一个静态的“输入-输出”映射。而智能体评测关注的是模型作为决策主体，在多轮交互中调用工具、读取环境反馈并调整策略的完整轨迹。因此评测指标也从准确率扩展到任务完成率、步数效率、工具调用正确性和行为安全性等维度。Scale AI 的 AgentEnv 正是这一范式的代表框架之一，它要求智能体在可执行环境中真正“做事”，而非只“答题”。

为什么选择 Vercel Sandbox？

Vercel Sandbox 为 AgentEnv 提供了一个隔离且可编程的执行环境。根据官方说明，Vercel 提供商会在两个独立的 Sandbox 中分别运行智能体和它的任务环境。这种隔离设计带来了几个实际好处：

行为可审计：智能体记录下的操作可以单独检查，方便定位问题。
环境一致性：任务环境与智能体运行环境分离，减少相互干扰，让评分更稳定。
上手成本低：可以直接复用已有的 Vercel CLI 登录状态，不需要额外配置一套独立的凭证体系。

对于已经在使用 Vercel 的团队来说，这意味着可以把智能体评测纳入现有的工作流中，而不必再维护另一套基础设施。

Sandbox（沙箱） 是一种受限的执行环境，用于隔离运行不受信任或可能产生副作用的代码。在智能体评测场景中，沙箱需要满足几个关键要求：一是资源隔离，防止智能体的文件操作、网络请求或进程影响宿主机；二是可重置性，每次评测都能从干净状态启动；三是可观测性，能够捕获智能体执行的命令、文件变更和工具调用。Vercel Sandbox 基于云端临时计算实例实现这些能力，支持以编程方式创建、销毁和检查运行环境，因此适合承载“智能体 + 任务环境”这类需要反复启动和回收的评测工作负载。

如何运行一次评测

要体验 AgentEnv 在 Vercel Sandbox 上的评测流程，可以按照以下步骤操作。

准备工作

首先需要完成 AgentEnv 的设置指南（setup guide），然后从克隆下来的仓库中执行评测命令。整个过程会使用你现有的 Vercel CLI 登录信息，因此不需要重复登录。

执行命令

在仓库目录下运行：

./vercel-eval --scope YOUR_TEAM --project YOUR_PROJECT

其中 YOUR_TEAM 替换为你的 Vercel 团队 slug，YOUR_PROJECT 替换为一个已存在的项目名称。命令执行后，你可以查看任务得分以及智能体记录下来的操作序列。

这个示例的价值在于，它把评测的完整链路跑通了：从启动智能体、执行任务，到获取分数和操作记录，全部在一个可复现的命令中完成。

命令中的 --scope 和 --project 参数对应 Vercel 平台的组织与项目层级。--scope 指定团队 slug，决定评测所使用的资源配额和权限范围；--project 指定一个已存在的 Vercel 项目，AgentEnv 会依托该项目创建和管理底层 Sandbox 实例。这意味着评测运行并不是完全独立的服务，而是挂载在既有 Vercel 项目之下，从而复用项目的环境变量、访问控制和计费体系。运行前需确保当前 CLI 登录账号对该团队和项目具有相应权限。

对智能体开发工作流的影响

AgentEnv 与 Vercel Sandbox 的结合，反映出智能体评测正在从“跑分”走向“跑流程”。开发者不再只关心模型在某个基准测试上的分数，而是更关注智能体在近似生产环境中的行为是否可靠、可解释、可复现。

这种趋势对工具链提出了更高要求：评测环境需要足够隔离，操作记录需要足够细粒度，评分机制需要足够透明。Vercel Sandbox 的隔离运行模式恰好满足了前两点，而 AgentEnv 的任务评分机制则负责第三点。

对于正在构建智能体应用的团队，值得关注的是这种“评测即基础设施”的思路——把评测环境当作与开发、部署同等重要的组成部分，而不是事后补做的环节。

快速上手指南

如果你想立刻尝试，可以按以下顺序操作：

确保 AgentEnv 版本为 0.9.1334 或更高。
阅读并完成 AgentEnv 的设置指南。
克隆仓库，并使用已有的 Vercel CLI 登录。
运行 ./vercel-eval --scope YOUR_TEAM --project YOUR_PROJECT。
检查任务得分和智能体记录的操作。

更多细节可以参考 Vercel 的 Sandbox 生态文档。

总结

AgentEnv 登陆 Vercel Sandbox，为智能体评测提供了一个隔离、可复用且与现有工作流衔接顺畅的方案。它把智能体和任务环境分置于独立 Sandbox 的设计，兼顾了行为可审计性与评分稳定性。对于希望系统化评估智能体表现的团队，这是一个值得尝试的新选项。