AgentEnv
Scale AI 推出的智能体评测框架,让智能体在可交互的真实任务环境中执行操作,并基于行为轨迹对任务完成度、步数效率和工具调用正确性等维度进行评分
核心事实
时间轴 (近 90 天)
Scale AI 的 AgentEnv 框架现在可以在 Vercel Sandbox 上运行。
AgentEnv 是 Scale AI 推出的智能体评测框架,让智能体面对真实任务并根据表现打分。
Vercel 提供商已包含在 AgentEnv 0.9.1334 及更高版本中。
Vercel 提供商会在两个独立的 Sandbox 中分别运行智能体及其任务环境。
运行 AgentEnv 在 Vercel Sandbox 上的评测可以直接复用已有的 Vercel CLI 登录状态,无需额外配置独立凭证。
在仓库目录下运行 ./vercel-eval --scope YOUR_TEAM --project YOUR_PROJECT 命令可执行评测。
命令中的 --scope 参数指定 Vercel 团队 slug,--project 参数指定一个已存在的 Vercel 项目,AgentEnv 依托该项目创建和管理底层 Sandbox 实例。
AgentEnv 与 Vercel Sandbox 的结合反映出智能体评测正在从跑分走向跑流程,更关注智能体在近似生产环境中的行为是否可靠、可解释、可复现。
全部知识事实 (8)
Vercel 提供商会在两个独立的 Sandbox 中分别运行智能体及其任务环境。
65%待验证AgentEnv 是 Scale AI 推出的智能体评测框架,让智能体面对真实任务并根据表现打分。
50%待验证Vercel 提供商已包含在 AgentEnv 0.9.1334 及更高版本中。
50%待验证运行 AgentEnv 在 Vercel Sandbox 上的评测可以直接复用已有的 Vercel CLI 登录状态,无需额外配置独立凭证。
50%待验证在仓库目录下运行 ./vercel-eval --scope YOUR_TEAM --project YOUR_PROJECT 命令可执行评测。
50%待验证命令中的 --scope 参数指定 Vercel 团队 slug,--project 参数指定一个已存在的 Vercel 项目,AgentEnv 依托该项目创建和管理底层 Sandbox 实例。
50%待验证Scale AI 的 AgentEnv 框架现在可以在 Vercel Sandbox 上运行。
50%待验证AgentEnv 与 Vercel Sandbox 的结合反映出智能体评测正在从跑分走向跑流程,更关注智能体在近似生产环境中的行为是否可靠、可解释、可复现。
50%