[控场AI]
基准P2NPCBench

P2NPCBench

一个用于评估大语言模型算法推理能力的基准测试,通过配对表面相似但计算复杂度不同(P vs NP完全)的问题来区分模型的真实推理与模式记忆。

时间轴 (近 90 天)

10月22日

P2NPCBench 是一个新的基准测试,包含 12 组问题家族,每组由一个 NP 完全问题和一个表面表述相同的多项式时间可解问题组成。

待验证50%
10月22日

在 P2NPCBench 评估中,12 个专有与开源模型在 NPC 问题上的平均 pass@1 为 35.4%,在 P 双胞胎上为 63.8%,差距接近 28 个百分点。

待验证50%
10月22日

P2NPCBench 最终产出 2,114 道经过硬化处理的题目,并附有人工验证的参考解答。

待验证50%
10月22日

95.1% 的模型家族配对中,NPC 侧失败率更高,表明差距是系统性的而非随机波动。

待验证50%
10月22日

将时间限制提高十倍,NPC 准确率仅从 28.5% 升至 31.9%,表明失败主要源于程序逻辑错误或崩溃,而非运行缓慢。

待验证50%
10月22日

对抗式硬化将 NPC 与 P 双胞胎之间的类别差距从 24.8 个百分点缩小至 14.6 个百分点,暗示部分表面复杂度差距源于模型对教科书措辞的熟悉度。

待验证50%
10月22日

该基准的局限包括:仅覆盖 12 个问题家族,对抗式改写可能引入不自然的表述,参考解答规模有限。

待验证50%

全部知识事实 (7)

来源文章