P2NPCBench
一个用于评估大语言模型算法推理能力的基准测试,通过配对表面相似但计算复杂度不同(P vs NP完全)的问题来区分模型的真实推理与模式记忆。
时间轴 (近 90 天)
P2NPCBench 是一个新的基准测试,包含 12 组问题家族,每组由一个 NP 完全问题和一个表面表述相同的多项式时间可解问题组成。
在 P2NPCBench 评估中,12 个专有与开源模型在 NPC 问题上的平均 pass@1 为 35.4%,在 P 双胞胎上为 63.8%,差距接近 28 个百分点。
P2NPCBench 最终产出 2,114 道经过硬化处理的题目,并附有人工验证的参考解答。
95.1% 的模型家族配对中,NPC 侧失败率更高,表明差距是系统性的而非随机波动。
将时间限制提高十倍,NPC 准确率仅从 28.5% 升至 31.9%,表明失败主要源于程序逻辑错误或崩溃,而非运行缓慢。
对抗式硬化将 NPC 与 P 双胞胎之间的类别差距从 24.8 个百分点缩小至 14.6 个百分点,暗示部分表面复杂度差距源于模型对教科书措辞的熟悉度。
该基准的局限包括:仅覆盖 12 个问题家族,对抗式改写可能引入不自然的表述,参考解答规模有限。
全部知识事实 (7)
P2NPCBench 是一个新的基准测试,包含 12 组问题家族,每组由一个 NP 完全问题和一个表面表述相同的多项式时间可解问题组成。
50%待验证在 P2NPCBench 评估中,12 个专有与开源模型在 NPC 问题上的平均 pass@1 为 35.4%,在 P 双胞胎上为 63.8%,差距接近 28 个百分点。
50%待验证P2NPCBench 最终产出 2,114 道经过硬化处理的题目,并附有人工验证的参考解答。
50%待验证95.1% 的模型家族配对中,NPC 侧失败率更高,表明差距是系统性的而非随机波动。
50%待验证将时间限制提高十倍,NPC 准确率仅从 28.5% 升至 31.9%,表明失败主要源于程序逻辑错误或崩溃,而非运行缓慢。
50%待验证对抗式硬化将 NPC 与 P 双胞胎之间的类别差距从 24.8 个百分点缩小至 14.6 个百分点,暗示部分表面复杂度差距源于模型对教科书措辞的熟悉度。
50%待验证该基准的局限包括:仅覆盖 12 个问题家族,对抗式改写可能引入不自然的表述,参考解答规模有限。
50%