[控场AI]
公司对齐研究中心 / Alignment Research Center

ARC

由Paul Christiano创立的AI对齐研究机构,专注研究如何确保强大AI系统与人类价值保持一致,重点关注可扩展监督等核心技术问题

核心事实

时间轴 (近 90 天)

10月28日

ARC(Abstraction and Reasoning Corpus)是2019年由François Chollet提出的通用智能评测基准,由视觉网格谜题组成,要求从示例中归纳变换规则并应用到新输入。

待验证50%
10月28日

OpenAI在ARK AGI 3报告中通过启用两个harness设置(跨步骤保留模型推理过程、对历史进行摘要而非截断),在相同输出token数量下让模型采取了更多动作、通过了更多关卡。

待验证50%
10月28日

同一个前沿模型在同一个谜题游戏中,仅因外围代码和设置不同,得分从13.3%提升到38.3%。

待验证50%
10月24日

标准下游benchmark包括MMLU、HellaSwag、ARC、GSM8K等,分别考察知识问答、常识推理、科学推理和数学能力。

待验证50%
10月23日

CFS以高温超导磁体技术闻名,其SPARC与ARC路线图依赖于高温超导磁体的小型化突破。

待验证50%
10月22日

自适应替换缓存(ARC)通过四个链表(MRU、MFU 及对应的幽灵列表)动态平衡最近使用和频繁使用的数据,与传统的 LRU 不同。

待验证50%
10月22日

ARC 包含 L2ARC(二级缓存),可将缓存扩展到 SSD 等高速设备上。

待验证50%
10月22日

ChromeOS 通过容器化的 ARC 环境运行 Android 应用,并逐步推动应用适配大屏。

待验证50%
10月11日

ARC(Abstraction and Reasoning Corpus)由François Chollet提出,旨在衡量系统在面对全新任务时的泛化与推理表现,而非记忆或模式匹配能力

待验证50%
10月11日

冲击ARC基准的方法大致分为程序合成搜索、大模型测试时推理采样、以及符号推理与神经网络结合的混合架构三类

待验证50%

还有 29 条时间轴事件

全部知识事实 (20)

已验证

METR(Model Evaluation & Threat Research)是专注于前沿AI系统安全评估的独立第三方机构

90%
待验证

ZFS 的 ARC(Adaptive Replacement Cache)默认会动态占用系统可用内存的较大比例,在内存紧张环境中需手动限制

60%
待验证

ARC(Abstraction and Reasoning Corpus)是2019年由François Chollet提出的通用智能评测基准,由视觉网格谜题组成,要求从示例中归纳变换规则并应用到新输入。

50%
待验证

同一个前沿模型在同一个谜题游戏中,仅因外围代码和设置不同,得分从13.3%提升到38.3%。

50%
待验证

OpenAI在ARK AGI 3报告中通过启用两个harness设置(跨步骤保留模型推理过程、对历史进行摘要而非截断),在相同输出token数量下让模型采取了更多动作、通过了更多关卡。

50%
待验证

标准下游benchmark包括MMLU、HellaSwag、ARC、GSM8K等,分别考察知识问答、常识推理、科学推理和数学能力。

50%
待验证

CFS以高温超导磁体技术闻名,其SPARC与ARC路线图依赖于高温超导磁体的小型化突破。

50%
待验证

ARC 包含 L2ARC(二级缓存),可将缓存扩展到 SSD 等高速设备上。

50%
待验证

自适应替换缓存(ARC)通过四个链表(MRU、MFU 及对应的幽灵列表)动态平衡最近使用和频繁使用的数据,与传统的 LRU 不同。

50%
待验证

ChromeOS 通过容器化的 ARC 环境运行 Android 应用,并逐步推动应用适配大屏。

50%
待验证

冲击ARC基准的方法大致分为程序合成搜索、大模型测试时推理采样、以及符号推理与神经网络结合的混合架构三类

50%
待验证

Kaggle是全球最大的数据科学竞赛平台,长期承载着ARC系列挑战赛

50%
待验证

ARC(Abstraction and Reasoning Corpus)由François Chollet提出,旨在衡量系统在面对全新任务时的泛化与推理表现,而非记忆或模式匹配能力

50%
待验证

每道ARC题目呈现为若干组输入-输出网格示例(通常3-5对),要求模型仅凭这几个样本归纳出变换规则并应用于新输入

50%
待验证

人类受试者在ARC题目上的平均正确率可达85%以上,而主流大语言模型长期徘徊在20%以下

50%
待验证

ARC(AI2 Reasoning Challenge)是艾伦人工智能研究所推出的科学推理问答数据集,于2018年发布,包含约8000道美国3-9年级标准化科学考试题目

50%
待验证

同等规模甚至更小的LRM已经将ARC 1基准刷满(saturate),准确率接近100%

50%
待验证

基础LLM在ARC 1上的表现至今仍停留在约10%-15%

50%
待验证

将模型规模放大约十万倍,基础LLM在ARC上的成绩只从0%提升到约10%

50%
待验证

传统知识类基准可能掩盖流动智能的缺失,ARC这类任务更能暴露范式差异

50%

来源文章