AI谜题
一种介于基准测试与开放问题列表之间的AI评估格式,通过分级阶梯式谜题设计,要求可机器检查的证明,避免模型记忆与基准饱和
时间轴 (近 90 天)
AI谜题(AI puzzles)是由研究者Jarek Duda提出的一种介于基准测试和开放问题列表之间的新评估格式,以非周期序研究领域为试点构建分级阶梯式谜题集。
AI谜题的阶梯设计将同一研究领域的问题按难度从人类水平(纸笔可解)到ASI水平(完全开放)排列,每一级都真正比上一级更难。
AI谜题格式中,较低级别的谜题已有精确答案且答案可被程序自动验证,可用于训练和检查模型输出,题目容易生成变体以避免记忆答案。
AI谜题格式规定只有可机器检查的证明才算解决,浮点数值只是证据而非证明。
AI谜题的开放级别提供解题所需的完整材料:强数值证据、已知失败的路径、相关文件,以及一个机器可检查的成功标准。
AI谜题开放级别的解题者会被署名,包括使用的智能体和模型,记录在论文的下一版本中,形成可追溯的贡献认定机制。
AI谜题格式相比传统基准测试的优势是抗饱和,因为开放级别没有固定答案;相比开放问题列表的优势是有明确的成功标准——机器可检查的证明。
全部知识事实 (7)
AI谜题(AI puzzles)是由研究者Jarek Duda提出的一种介于基准测试和开放问题列表之间的新评估格式,以非周期序研究领域为试点构建分级阶梯式谜题集。
50%待验证AI谜题的阶梯设计将同一研究领域的问题按难度从人类水平(纸笔可解)到ASI水平(完全开放)排列,每一级都真正比上一级更难。
50%待验证AI谜题格式中,较低级别的谜题已有精确答案且答案可被程序自动验证,可用于训练和检查模型输出,题目容易生成变体以避免记忆答案。
50%待验证AI谜题格式规定只有可机器检查的证明才算解决,浮点数值只是证据而非证明。
50%待验证AI谜题的开放级别提供解题所需的完整材料:强数值证据、已知失败的路径、相关文件,以及一个机器可检查的成功标准。
50%待验证AI谜题开放级别的解题者会被署名,包括使用的智能体和模型,记录在论文的下一版本中,形成可追溯的贡献认定机制。
50%待验证AI谜题格式相比传统基准测试的优势是抗饱和,因为开放级别没有固定答案;相比开放问题列表的优势是有明确的成功标准——机器可检查的证明。
50%