SLATE
SLATE 是一个评估 AI 智能体长程 API 选择能力的基准，构建在确定性电商模拟器中，包含 100 个电商任务和约 1000 个工具的库，以端到端任务成功率作为核心评判标准。
时间轴 (近 90 天)
论文arXiv 2611.03982提出了SLATE基准，专门评估AI智能体长程API选择能力。
SLATE基准包含100个电商任务和一个约1000个工具的库，构建在确定性电商模拟器中。
根据论文Table 3，Gemma-4-12B-it的单步准确率为74.4%，端到端任务成功率仅为5.0%。
论文明确指出SLATE基准运行在确定性模拟器中，结果不应被直接等同于生产环境下的表现。
论文认为对开发者而言，构建基于API的智能体工作流时需把错误累积和状态一致性作为核心设计考量。
论文认为对评测者而言，端到端任务成功率应当成为与单步准确率并列的核心指标。
SLATE基准在确定性模拟环境中运行，相同输入会得到可复现的输出，减少了评测噪声。
确定性模拟器简化了真实工具的语义丰富度与失败模式，因此论文特意声明结果不能直接外推到生产系统。
全部知识事实 (8)
论文arXiv 2611.03982提出了SLATE基准，专门评估AI智能体长程API选择能力。
50%待验证SLATE基准包含100个电商任务和一个约1000个工具的库，构建在确定性电商模拟器中。
50%待验证根据论文Table 3，Gemma-4-12B-it的单步准确率为74.4%，端到端任务成功率仅为5.0%。
50%待验证论文明确指出SLATE基准运行在确定性模拟器中，结果不应被直接等同于生产环境下的表现。
50%待验证论文认为对开发者而言，构建基于API的智能体工作流时需把错误累积和状态一致性作为核心设计考量。
50%待验证论文认为对评测者而言，端到端任务成功率应当成为与单步准确率并列的核心指标。
50%待验证SLATE基准在确定性模拟环境中运行，相同输入会得到可复现的输出，减少了评测噪声。
50%待验证确定性模拟器简化了真实工具的语义丰富度与失败模式，因此论文特意声明结果不能直接外推到生产系统。
50%