ThinkingBox
微软研究团队发布的AI智能体可靠性基准测试，包含507个有状态业务工作流，通过20次重复执行与后端状态验证评估智能体在真实企业场景中的稳定性与可靠性
Timeline (last 90 days)
微软研究团队发布了 ThinkingBox 基准测试，其论文、代码、数据集全部公开，环境已上线 Hugging Face OpenEnv
ThinkingBox 中每个任务被独立执行 20 次，每次从干净的后端初始状态开始，每个模型需跑 10,140 次试验
ThinkingBox 的评分方式是对比任务结束后的后端状态与副作用是否与要求的最终状态一致，507个任务中477个纯粹依据状态评分，30个还额外检查最终回复的某个狭窄属性
ThinkingBox 区分三个指标：pass@1（所有尝试中成功的比例）、pass@20（20次中至少成功一次的任务比例）、all-20（全部20次都成功的任务比例）
Kimi-K3 在 ThinkingBox 中 pass@20 达到 93.89%（476/507），但 all-20 仅为 13.41%（68/507）
Claude Opus 5 在 ThinkingBox 中 pass@20 为 79.09%，all-20 达到 47.53%（241个任务稳定通过）
Qwen3.8-27B 在 ThinkingBox 中 pass@20 为 89.35%，all-20 为 7.50%
按 pass@20 排名和按 all-20 排名得到的结果几乎相反，发现能力强不代表执行稳定性高
研究团队在12个模型、总计121,680次有效试验上做回溯性消融分析，其中79,853次未通过可执行检查
在未通过检查的失败中，67.24% 仍然干净地终止——调用了状态变更工具且结束时未报最终工具错误
2 more timeline events
All Facts (12)
用完成度式的代理指标评分会把干净终止但结果错误的失败判为成功，这是当前许多智能体评估的缺陷
50%UnverifiedThinkingBox 中每个任务被独立执行 20 次，每次从干净的后端初始状态开始，每个模型需跑 10,140 次试验
50%UnverifiedThinkingBox 的评分方式是对比任务结束后的后端状态与副作用是否与要求的最终状态一致，507个任务中477个纯粹依据状态评分，30个还额外检查最终回复的某个狭窄属性
50%UnverifiedThinkingBox 区分三个指标：pass@1（所有尝试中成功的比例）、pass@20（20次中至少成功一次的任务比例）、all-20（全部20次都成功的任务比例）
50%UnverifiedKimi-K3 在 ThinkingBox 中 pass@20 达到 93.89%（476/507），但 all-20 仅为 13.41%（68/507）
50%UnverifiedClaude Opus 5 在 ThinkingBox 中 pass@20 为 79.09%，all-20 达到 47.53%（241个任务稳定通过）
50%UnverifiedQwen3.8-27B 在 ThinkingBox 中 pass@20 为 89.35%，all-20 为 7.50%
50%Unverified按 pass@20 排名和按 all-20 排名得到的结果几乎相反，发现能力强不代表执行稳定性高
50%Unverified研究团队在12个模型、总计121,680次有效试验上做回溯性消融分析，其中79,853次未通过可执行检查
50%Unverified在未通过检查的失败中，67.24% 仍然干净地终止——调用了状态变更工具且结束时未报最终工具错误
50%Unverified在干净终止却实际失败的轨迹中，字段值错误占 77.61%，意料之外的额外副作用占 43.30%，缺失必需副作用占 25.36%（类别有重叠）
50%Unverified微软研究团队发布了 ThinkingBox 基准测试，其论文、代码、数据集全部公开，环境已上线 Hugging Face OpenEnv
50%