XiangqiBench
以中国象棋为载体的LLM智能体可执行基准测试，通过强制将杀残局评估智能体的闭环决策能力，同时衡量覆盖率与可靠性两项指标
时间轴 (近 90 天)
XiangqiBench 是一个以中国象棋为载体的可执行基准测试，发表在 arXiv 上，主张智能体评估应衡量闭环结果并同时报告覆盖率与可靠性
XiangqiBench 研究团队构建了 119 个带有强制将杀的战术残局，并通过引擎或纯将军搜索进行验证
XiangqiBench 设计了一个交互式 REPL 接口，区分真实走子、状态查询和前向模拟三类操作
研究者在两种观测协议下记录了来自 12 个前沿 LLM 的 8,568 条多轮交互轨迹
在 Sighted（可见局面）试验中，模型有 26.1% 的情况走出了与参考答案一致的第一步，但最终真正赢下棋局的只有 13.9%
表现最好的模型在 pass@3 上达到 38.7%，但在 pass^3 上只有 5.9%
在模型曾经赢过的 46 个局面中，仅有 7 个局面能做到三连胜
被接受的模拟调用中有 32.3% 停在了一个非法走子上
在可比较的案例中，有 49.3% 的情况下真实的防守方回应与智能体此前模拟的路线并不相同
智能体自己撰写的推演能检查走法是否合法，却无法预判对手的真实反应，导致模拟差距
还有 2 条时间轴事件
全部知识事实 (12)
XiangqiBench 是一个以中国象棋为载体的可执行基准测试，发表在 arXiv 上，主张智能体评估应衡量闭环结果并同时报告覆盖率与可靠性
50%待验证XiangqiBench 研究团队构建了 119 个带有强制将杀的战术残局，并通过引擎或纯将军搜索进行验证
50%待验证XiangqiBench 设计了一个交互式 REPL 接口，区分真实走子、状态查询和前向模拟三类操作
50%待验证研究者在两种观测协议下记录了来自 12 个前沿 LLM 的 8,568 条多轮交互轨迹
50%待验证在 Sighted（可见局面）试验中，模型有 26.1% 的情况走出了与参考答案一致的第一步，但最终真正赢下棋局的只有 13.9%
50%待验证表现最好的模型在 pass@3 上达到 38.7%，但在 pass^3 上只有 5.9%
50%待验证在模型曾经赢过的 46 个局面中，仅有 7 个局面能做到三连胜
50%待验证被接受的模拟调用中有 32.3% 停在了一个非法走子上
50%待验证在可比较的案例中，有 49.3% 的情况下真实的防守方回应与智能体此前模拟的路线并不相同
50%待验证智能体自己撰写的推演能检查走法是否合法，却无法预判对手的真实反应，导致模拟差距
50%待验证研究核心结论认为智能体评估应当对闭环结果打分，并把可靠性与覆盖率一并报告
50%待验证像 XiangqiBench 这样强调闭环、对抗和可复现性的评测方法很可能成为下一阶段智能体评估体系的重要方向
50%