Nonobench
开源大语言模型基准测试项目，通过让模型解数织谜题（nonogram/picross）来评估其结构化逻辑推理和空间记忆能力，覆盖5x5到20x20不同难度级别
时间轴 (近 90 天)
Nonobench 是一个开源基准测试项目，让 49 款大语言模型解数织谜题（nonogram/picross）
Nonobench 测试规则要求每个模型只获得一次行列线索，一次性返回完整网格，不允许调用外部工具，每道题只有一次尝试机会
Nonobench 标准模式包含 30 道题目，网格规模从 5x5 递增到 15x15，题目取自 Moyà-Alcover 发布的 Nonograms 数据集（CC BY 4.0 授权）
Nonobench 困难模式包含十道随机生成的 20x20 大网格，每道经过校验确保唯一解，其中五道无法仅靠线逻辑推出
困难模式网格采用随机填充而非真实图案，目的是防止模型凭图像先验猜中谜底
测试共跑了 130 个变体，覆盖不同推理努力程度，通过 OpenRouter 调用并尽可能锁定各实验室官方端点
取每个模型最佳努力档位，5x5 网格解题率约 85%，10x10 降至 46%，15x15 仅剩 20%
谜题规模与模型表现呈强负相关，网格放大会导致正确率断崖式下滑
GPT-6 Astra 解出了标准模式全部 30 道题，表现最稳健
Claude Opus 5.5 在困难模式解出 10 道中的 8 道，是 20x20 大网格上的最强选手
还有 4 条时间轴事件
全部知识事实 (14)
Nonobench 是一个开源基准测试项目，让 49 款大语言模型解数织谜题（nonogram/picross）
50%待验证Nonobench 测试规则要求每个模型只获得一次行列线索，一次性返回完整网格，不允许调用外部工具，每道题只有一次尝试机会
50%待验证Nonobench 标准模式包含 30 道题目，网格规模从 5x5 递增到 15x15，题目取自 Moyà-Alcover 发布的 Nonograms 数据集（CC BY 4.0 授权）
50%待验证Nonobench 困难模式包含十道随机生成的 20x20 大网格，每道经过校验确保唯一解，其中五道无法仅靠线逻辑推出
50%待验证困难模式网格采用随机填充而非真实图案，目的是防止模型凭图像先验猜中谜底
50%待验证测试共跑了 130 个变体，覆盖不同推理努力程度，通过 OpenRouter 调用并尽可能锁定各实验室官方端点
50%待验证取每个模型最佳努力档位，5x5 网格解题率约 85%，10x10 降至 46%，15x15 仅剩 20%
50%待验证谜题规模与模型表现呈强负相关，网格放大会导致正确率断崖式下滑
50%待验证GPT-6 Astra 解出了标准模式全部 30 道题，表现最稳健
50%待验证Claude Opus 5.5 在困难模式解出 10 道中的 8 道，是 20x20 大网格上的最强选手
50%待验证参与困难模式的 15 个模型中有 11 个一道题都没解出
50%待验证当要求模型把答案作为一整条 400 字符字符串返回时，大多数模型会在逻辑变难前就数错格子，丢失位置计数能力
50%待验证困难模式改为让模型返回由 20 条行字符串组成的数组而非单一长字符串，以改善位置追踪
50%待验证Nonobench 全部代码以 MIT 协议开源（github.com/mauricekleine/nonobench），测试网站公开可访问（nonobench.com）
50%