ARC-AGI
ARC-AGI（Abstraction and Reasoning Corpus for Artificial General Intelligence）是由François Chollet提出的人工智能推理能力基准测试，旨在评估AI系统的抽象推理与泛化能力。该基准通过一组视觉图形变换任务，要求模型从少量示例中归纳规律并推断答案，强调考察类人的核心知识推理，而非依赖大规模记忆或统计学习，是衡量通用人工智能进展的重要参考标准之一。
核心事实
时间轴 (近 90 天)
与ARC-AGI等基准相比，该框架允许更精细地控制新颖性的维度——是规则本身新，还是规则组合新，或是规则实例新。
ARC-AGI是由François Chollet提出的通用智能基准，包含一系列彩色网格变换任务，要求模型从极少数示例中推断出抽象变换规则并应用到新输入。
Chollet多次强调ARC只是衡量某一类抽象推理能力的工具，而非AGI的终极判定标准，在ARC-AGI上取得高分不等同于实现通用人工智能
ARC-AGI基准旨在区分「在见过的任务上表现好」与「能灵活应对全新结构性问题」两种能力
Claude Opus在ARC-AGI私有holdout集上原生验证的最佳成绩是30%
Prime Agent在ARC-AGI上用GPT系列拿到约78%，用Opus拿到95.5%
加上适当的Harness后，Prime Agent在ARC-AGI上做到了95%
在ARC-AGI基准上，同一个模型仅靠不同的Harness设计，成绩可以从30%跃升到95%甚至100%
ARC-AGI基准被刻意设计成对人类简单、对机器困难，用以凸显人类认知的独特性
基准一旦公开并被反复攻关，可能出现针对性过拟合，即摸清题目分布规律而未必对应底层泛化智能
还有 30 条时间轴事件
全部知识事实 (20)
ARC-AGI是由AI安全研究员François Chollet设计的专门测量流体智能的基准测试
85%已验证François Chollet强调抽象推理和泛化能力，提出了ARC基准测试作为衡量标准
80%已验证ARC-AGI由AI安全研究员François Chollet于2019年提出
80%已验证ARC-AGI专门测量流体智能，而传统大语言模型主要展现晶体智能
75%已验证在 ARC Prize 的标准框架下，GPT-6 Astra 的 ARC-AGI-3 成绩只有 62.7
65%已验证ARC-AGI基准由François Chollet于2019年提出，用于评估AI在面对全新问题时的抽象推理和泛化能力
65%已验证ARC-AGI由AI研究者François Chollet设计，用于创造对人类直觉简单但对依赖数据记忆的语言模型极为困难的测试集
65%待验证ARC-AGI的每道题由彩色网格构成，要求模型从2-3个输入输出示例中归纳出变换规则再应用到新输入上
95%待验证ARC-AGI-2由AI安全研究员François Chollet设计，早期GPT-4在该测试上得分不足10%，人类平均得分约85%
80%待验证公开基准测试一旦被广泛关注，就有被针对性优化的风险，高分未必反映泛化的推理能力
60%待验证ARC-AGI是由François Chollet提出的通用智能基准，包含一系列彩色网格变换任务，要求模型从极少数示例中推断出抽象变换规则并应用到新输入。
50%待验证与ARC-AGI等基准相比，该框架允许更精细地控制新颖性的维度——是规则本身新，还是规则组合新，或是规则实例新。
50%待验证Chollet多次强调ARC只是衡量某一类抽象推理能力的工具，而非AGI的终极判定标准，在ARC-AGI上取得高分不等同于实现通用人工智能
50%待验证ARC-AGI基准旨在区分「在见过的任务上表现好」与「能灵活应对全新结构性问题」两种能力
50%待验证Claude Opus在ARC-AGI私有holdout集上原生验证的最佳成绩是30%
50%待验证在ARC-AGI基准上，同一个模型仅靠不同的Harness设计，成绩可以从30%跃升到95%甚至100%
50%待验证加上适当的Harness后，Prime Agent在ARC-AGI上做到了95%
50%待验证Prime Agent在ARC-AGI上用GPT系列拿到约78%，用Opus拿到95.5%
50%待验证基准一旦公开并被反复攻关，可能出现针对性过拟合，即摸清题目分布规律而未必对应底层泛化智能
50%待验证ARC-AGI基准被刻意设计成对人类简单、对机器困难，用以凸显人类认知的独特性
50%