ToolTurns
多轮对话工具使用基准,包含2,620个问题、1,827个工具和11,004个API端点,覆盖47个类别,模拟真实用户渐进式澄清需求的交互模式
时间轴 (近 90 天)
微软研究院等机构发布了 ToolTurns 多轮对话工具使用基准。
ToolTurns 包含 2,620 个问题,覆盖 1,827 个工具和 11,004 个 API 端点,横跨 47 个类别。
ToolTurns 的每段对话从一个刻意信息不完整的初始请求开始,随后进行两次依赖上下文的后续追问。
论文对九个语言模型进行了评估。
最好的智能体在单个请求上的解决率达到 69.6%,但完整对话的完成率降至 39.8%。
在 ToolTurns 评估协议下,所有被评估模型在后续追问上的成功率都低于初始请求。
对话质量评分与任务成功率可能对模型给出截然不同的排名。
ToolTurns 配套了一个开源用户模拟器,通过对话逐步揭示隐藏的上下文并生成后续追问。
作者引入了检查-修复(checker-fixer)流程来检测并修正模拟器生成的对话轮次中的缺陷。
盲测人类评估更偏好 checker-fixer 修正后的对话轮次。
还有 1 条时间轴事件
全部知识事实 (11)
作者引入了检查-修复(checker-fixer)流程来检测并修正模拟器生成的对话轮次中的缺陷。
50%待验证盲测人类评估更偏好 checker-fixer 修正后的对话轮次。
50%待验证ToolTurns 的每段对话从一个刻意信息不完整的初始请求开始,随后进行两次依赖上下文的后续追问。
50%待验证论文对九个语言模型进行了评估。
50%待验证最好的智能体在单个请求上的解决率达到 69.6%,但完整对话的完成率降至 39.8%。
50%待验证在 ToolTurns 评估协议下,所有被评估模型在后续追问上的成功率都低于初始请求。
50%待验证对话质量评分与任务成功率可能对模型给出截然不同的排名。
50%待验证ToolTurns 包含 2,620 个问题,覆盖 1,827 个工具和 11,004 个 API 端点,横跨 47 个类别。
50%待验证ToolTurns 已开源,其基准和用户模拟器为研究社区提供了一个可复现的测试平台。
50%待验证ToolTurns 配套了一个开源用户模拟器,通过对话逐步揭示隐藏的上下文并生成后续追问。
50%待验证微软研究院等机构发布了 ToolTurns 多轮对话工具使用基准。
50%