TandemBench
评估多智能体协作决策模型的基准,通过烹饪场景问题测试模型选择最优团队计划和判断选项完整性的能力
时间轴 (近 90 天)
TandemBench 是一个专门评估多智能体协作决策模型的基准,包含 1,200 个基于烹饪场景的问题。
TandemBench 的模型任务是从候选团队计划中选出最优方案,并在配对变体(保留或移除最优计划)中判断是否存在更好的安排。
TandemBench 的核心创新在于不仅测试模型选择给定选项的能力,还检验其判断“是否已存在最优解”的元认知能力。
TandemBench 的参考答案通过执行和精确搜索建立,确保了评估的可靠性。
原生决策模型在 TandemBench 基准中达到 62.50% 的准确率,但在最优性验证上接近随机。
研究评估了 40 个原生决策模型,并与 10 个通用语言模型进行对比。
在最优性验证任务中,原生决策模型的表现接近随机水平。
配对测试揭示了一个系统性偏差:部分模型无论是否已提供最优计划,都会声称存在更好的替代方案。
仅凭团队计划决策准确率,可能掩盖模型在判断“给定选项是否包含最优安排”时的系统性错误。
TandemBench 的数据集和评估代码已在 GitHub 公开(https://github.com/lililibaohang/TandemBench)。
全部知识事实 (10)
TandemBench 是一个专门评估多智能体协作决策模型的基准,包含 1,200 个基于烹饪场景的问题。
50%待验证TandemBench 的模型任务是从候选团队计划中选出最优方案,并在配对变体(保留或移除最优计划)中判断是否存在更好的安排。
50%待验证TandemBench 的核心创新在于不仅测试模型选择给定选项的能力,还检验其判断“是否已存在最优解”的元认知能力。
50%待验证TandemBench 的参考答案通过执行和精确搜索建立,确保了评估的可靠性。
50%待验证原生决策模型在 TandemBench 基准中达到 62.50% 的准确率,但在最优性验证上接近随机。
50%待验证研究评估了 40 个原生决策模型,并与 10 个通用语言模型进行对比。
50%待验证在最优性验证任务中,原生决策模型的表现接近随机水平。
50%待验证配对测试揭示了一个系统性偏差:部分模型无论是否已提供最优计划,都会声称存在更好的替代方案。
50%待验证仅凭团队计划决策准确率,可能掩盖模型在判断“给定选项是否包含最优安排”时的系统性错误。
50%待验证TandemBench 的数据集和评估代码已在 GitHub 公开(https://github.com/lililibaohang/TandemBench)。
50%