ThinkingBox
微软研究团队发布的AI智能体可靠性基准测试，包含507个有状态业务工作流，通过20次重复执行与后端状态验证评估智能体在真实企业场景中的稳定性与可靠性
时间轴 (近 90 天)
工具界面设计（schema、描述、参数命名）占失败根本原因的79.9%，是技术栈中杠杆最高的修复点
ThinkingBox基准测试由微软研究人员与Hugging Face发布，包含507个真实业务流程任务，每个任务运行20遍
ThinkingBox基准测试共进行了121,680次试验，其中79,853次失败
Claude Opus 5.5在507个任务中只有241个做到20次全对，20-of-20可靠性为47.53%
ThinkingBox通过对比智能体操作前后后端数据库的终态差异进行确定性评判，并检查禁止的副作用，而不读取对话记录
ThinkingBox的工具以MCP服务器形式暴露，每次运行分配一个隔离、全新重置的后端
Kimi-K3的pass@1为57.37%，20-of-20为17.60%（Hugging Face博文版本为pass@20达93.89%、可靠部分13.41%）
零售任务平均pass@1达59.52%，车险只有33.83%，保险流程因政策规则和精确字段要求更难
ThinkingBox框架以MIT协议开源在GitHub（microsoft/thinkingbox），数据集在Hugging Face（microsoft/ThinkingBox-Bench）
对于必须每次成功的生产流程，应衡量全跑通过率而非pass@1，因为pass@1会系统性高估可承诺的能力
还有 13 条时间轴事件
全部知识事实 (20)
工具界面设计（schema、描述、参数命名）占失败根本原因的79.9%，是技术栈中杠杆最高的修复点
50%待验证零售任务平均pass@1达59.52%，车险只有33.83%，保险流程因政策规则和精确字段要求更难
50%待验证对于必须每次成功的生产流程，应衡量全跑通过率而非pass@1，因为pass@1会系统性高估可承诺的能力
50%待验证ThinkingBox基准测试由微软研究人员与Hugging Face发布，包含507个真实业务流程任务，每个任务运行20遍
50%待验证ThinkingBox基准测试共进行了121,680次试验，其中79,853次失败
50%待验证Claude Opus 5.5在507个任务中只有241个做到20次全对，20-of-20可靠性为47.53%
50%待验证ThinkingBox通过对比智能体操作前后后端数据库的终态差异进行确定性评判，并检查禁止的副作用，而不读取对话记录
50%待验证ThinkingBox的工具以MCP服务器形式暴露，每次运行分配一个隔离、全新重置的后端
50%待验证Kimi-K3的pass@1为57.37%，20-of-20为17.60%（Hugging Face博文版本为pass@20达93.89%、可靠部分13.41%）
50%待验证在未通过检查的失败中，67.24% 仍然干净地终止——调用了状态变更工具且结束时未报最终工具错误
50%待验证用完成度式的代理指标评分会把干净终止但结果错误的失败判为成功，这是当前许多智能体评估的缺陷
50%待验证在干净终止却实际失败的轨迹中，字段值错误占 77.61%，意料之外的额外副作用占 43.30%，缺失必需副作用占 25.36%（类别有重叠）
50%待验证ThinkingBox 中每个任务被独立执行 20 次，每次从干净的后端初始状态开始，每个模型需跑 10,140 次试验
50%待验证ThinkingBox 的评分方式是对比任务结束后的后端状态与副作用是否与要求的最终状态一致，507个任务中477个纯粹依据状态评分，30个还额外检查最终回复的某个狭窄属性
50%待验证ThinkingBox 区分三个指标：pass@1（所有尝试中成功的比例）、pass@20（20次中至少成功一次的任务比例）、all-20（全部20次都成功的任务比例）
50%待验证Kimi-K3 在 ThinkingBox 中 pass@20 达到 93.89%（476/507），但 all-20 仅为 13.41%（68/507）
50%待验证Claude Opus 5 在 ThinkingBox 中 pass@20 为 79.09%，all-20 达到 47.53%（241个任务稳定通过）
50%待验证Qwen3.8-27B 在 ThinkingBox 中 pass@20 为 89.35%，all-20 为 7.50%
50%待验证按 pass@20 排名和按 all-20 排名得到的结果几乎相反，发现能力强不代表执行稳定性高
50%待验证研究团队在12个模型、总计121,680次有效试验上做回溯性消融分析，其中79,853次未通过可执行检查
50%