τ-bench
面向LLM工具使用与任务规划能力的评估基准，侧重测试模型在复杂工具调用链和多步规划场景中的推理与执行表现
时间轴 (近 90 天)
τ-bench 是 Sierra 团队提出的 Agent 评测基准，用于衡量「工具-智能体-用户」三方交互场景下模型对政策的遵从度，包含航空客服与零售电商客服两个领域。
τ-bench 在航司退票工具中采用两层设计：工具描述层写入政策要求模型先拉取订单并显式填写 expected_* 参数进行推理；服务端层对舱位、保险、下单时间等事实进行校验，数据来自数据库和服务端时钟，不依赖模型上报参数。
τ-bench 的评判标准是：即使 Agent 成功帮用户退票，只要退票行为违反政策，任务仍判为失败，即衡量「守规矩前提下的任务完成」。
τ-bench 的每个任务附带域政策文档，规定退款、改签、换货的条件，Agent 需在多轮对话中满足用户诉求且不违反政策；评测指标包括任务成功率和政策违规率。
在 τ-bench 零售环境基准测试中（30 个测试任务，模拟客户，单次运行，solvi 0.8.0，gpt-oss-120b 作为 Agent），无守卫时解决 18 个任务、环境拒绝 10 次变更调用；有守卫时解决 14 个任务、环境拒绝 0 次变更调用。
在 τ-bench 零售探测中，动作模型在 11,763 条留出转换上以精确率和召回率 1.000 预测了环境的拒绝，仅 0.26% 的情况弃权。
τ-bench 是由 Sierra 团队提出的面向工具调用型 Agent 的基准测试，模拟零售和航空客服场景，评估多轮对话、工具使用和策略遵循，环境会对违规调用返回拒绝。
SWE-bench 测试自主代码修复能力，GAIA 测试现实世界多步骤任务推理，τ-bench 测试工具调用准确性
WebArena、AgentBench、τ-bench等面向Agent能力的基准测试环境仍以沙盒模拟为主，难以捕捉生产级系统中真实的数据噪声、权限边界、延迟抖动与错误传播链条
τ-bench 是由 Sierra AI 发布的用于评估对话式 AI Agent 在真实业务场景中可靠性的基准测试
还有 3 条时间轴事件
全部知识事实 (12)
τ-bench 是 Sierra 团队提出的 Agent 评测基准，用于衡量「工具-智能体-用户」三方交互场景下模型对政策的遵从度，包含航空客服与零售电商客服两个领域。
50%待验证τ-bench 在航司退票工具中采用两层设计：工具描述层写入政策要求模型先拉取订单并显式填写 expected_* 参数进行推理；服务端层对舱位、保险、下单时间等事实进行校验，数据来自数据库和服务端时钟，不依赖模型上报参数。
50%待验证τ-bench 的评判标准是：即使 Agent 成功帮用户退票，只要退票行为违反政策，任务仍判为失败，即衡量「守规矩前提下的任务完成」。
50%待验证τ-bench 的每个任务附带域政策文档，规定退款、改签、换货的条件，Agent 需在多轮对话中满足用户诉求且不违反政策；评测指标包括任务成功率和政策违规率。
50%待验证在 τ-bench 零售探测中，动作模型在 11,763 条留出转换上以精确率和召回率 1.000 预测了环境的拒绝，仅 0.26% 的情况弃权。
50%待验证在 τ-bench 零售环境基准测试中（30 个测试任务，模拟客户，单次运行，solvi 0.8.0，gpt-oss-120b 作为 Agent），无守卫时解决 18 个任务、环境拒绝 10 次变更调用；有守卫时解决 14 个任务、环境拒绝 0 次变更调用。
50%待验证τ-bench 是由 Sierra 团队提出的面向工具调用型 Agent 的基准测试，模拟零售和航空客服场景，评估多轮对话、工具使用和策略遵循，环境会对违规调用返回拒绝。
50%待验证SWE-bench 测试自主代码修复能力，GAIA 测试现实世界多步骤任务推理，τ-bench 测试工具调用准确性
50%待验证WebArena、AgentBench、τ-bench等面向Agent能力的基准测试环境仍以沙盒模拟为主，难以捕捉生产级系统中真实的数据噪声、权限边界、延迟抖动与错误传播链条
50%待验证τ-bench 是由 Sierra AI 发布的用于评估对话式 AI Agent 在真实业务场景中可靠性的基准测试
50%待验证τ-bench 模拟零售、航空等行业的客服任务，以任务完成率（pass rate）作为核心指标
50%待验证智能体评估基准测试套件包括GAIA、AgentBench和SWE-bench
50%