[控场AI]
基准ToolTurns基准

ToolTurns

多轮对话工具使用基准,包含2,620个问题、1,827个工具和11,004个API端点,覆盖47个类别,模拟真实用户渐进式澄清需求的交互模式

时间轴 (近 90 天)

11月13日

微软研究院等机构发布了 ToolTurns 多轮对话工具使用基准。

待验证50%
11月13日

ToolTurns 包含 2,620 个问题,覆盖 1,827 个工具和 11,004 个 API 端点,横跨 47 个类别。

待验证50%
11月13日

ToolTurns 的每段对话从一个刻意信息不完整的初始请求开始,随后进行两次依赖上下文的后续追问。

待验证50%
11月13日

论文对九个语言模型进行了评估。

待验证50%
11月13日

最好的智能体在单个请求上的解决率达到 69.6%,但完整对话的完成率降至 39.8%。

待验证50%
11月13日

在 ToolTurns 评估协议下,所有被评估模型在后续追问上的成功率都低于初始请求。

待验证50%
11月13日

对话质量评分与任务成功率可能对模型给出截然不同的排名。

待验证50%
11月13日

ToolTurns 配套了一个开源用户模拟器,通过对话逐步揭示隐藏的上下文并生成后续追问。

待验证50%
11月13日

作者引入了检查-修复(checker-fixer)流程来检测并修正模拟器生成的对话轮次中的缺陷。

待验证50%
11月13日

盲测人类评估更偏好 checker-fixer 修正后的对话轮次。

待验证50%

还有 1 条时间轴事件

全部知识事实 (11)

来源文章