基准
CXBench
一个以围棋对局为载体评测大语言模型能力的基准项目,通过动态棋局场景考察模型状态追踪、局部与全局权衡、长程规划、分支推演、对抗推理、错误恢复、不确定性管理等七种核心推理能力
时间轴 (近 90 天)
10月9日
CXBench 是一个用围棋测评大模型能力的项目
待验证50%
10月9日
作者将一手围棋决策拆解为七个能力维度:状态追踪、局部与全局的权衡、长程规划、分支推演、对抗推理、错误恢复、不确定性管理
待验证50%
10月9日
测试中发现同一局面让模型多往后推演两步,结果未必更好,有时最后一手反而更差
待验证50%
10月9日
测试中出现模型自称某步有95%把握但按评分标准得0分的案例
待验证50%
10月9日
CXBench 使用较小的九路棋盘来降低复杂度同时保留对抗性
待验证50%
10月9日
CXBench 的题目不一定来自现成棋谱,可重新生成局面并用专门的围棋程序检查答案质量以减少数据污染
待验证50%
10月9日
CXBench 评测重点在于区分模型是没看见危险还是看见了但后面算错了两种失败模式
待验证50%
10月9日
作者认为分数之外的稳定性和应变能力才是衡量模型是否可靠的关键
待验证50%
全部知识事实 (8)
待验证
CXBench 是一个用围棋测评大模型能力的项目
50%待验证作者将一手围棋决策拆解为七个能力维度:状态追踪、局部与全局的权衡、长程规划、分支推演、对抗推理、错误恢复、不确定性管理
50%待验证测试中发现同一局面让模型多往后推演两步,结果未必更好,有时最后一手反而更差
50%待验证测试中出现模型自称某步有95%把握但按评分标准得0分的案例
50%待验证CXBench 使用较小的九路棋盘来降低复杂度同时保留对抗性
50%待验证CXBench 的题目不一定来自现成棋谱,可重新生成局面并用专门的围棋程序检查答案质量以减少数据污染
50%待验证CXBench 评测重点在于区分模型是没看见危险还是看见了但后面算错了两种失败模式
50%待验证作者认为分数之外的稳定性和应变能力才是衡量模型是否可靠的关键
50%