ARC
由Paul Christiano创立的AI对齐研究机构,专注研究如何确保强大AI系统与人类价值保持一致,重点关注可扩展监督等核心技术问题
核心事实
时间轴 (近 90 天)
ARC(Abstraction and Reasoning Corpus)是2019年由François Chollet提出的通用智能评测基准,由视觉网格谜题组成,要求从示例中归纳变换规则并应用到新输入。
OpenAI在ARK AGI 3报告中通过启用两个harness设置(跨步骤保留模型推理过程、对历史进行摘要而非截断),在相同输出token数量下让模型采取了更多动作、通过了更多关卡。
同一个前沿模型在同一个谜题游戏中,仅因外围代码和设置不同,得分从13.3%提升到38.3%。
标准下游benchmark包括MMLU、HellaSwag、ARC、GSM8K等,分别考察知识问答、常识推理、科学推理和数学能力。
CFS以高温超导磁体技术闻名,其SPARC与ARC路线图依赖于高温超导磁体的小型化突破。
自适应替换缓存(ARC)通过四个链表(MRU、MFU 及对应的幽灵列表)动态平衡最近使用和频繁使用的数据,与传统的 LRU 不同。
ARC 包含 L2ARC(二级缓存),可将缓存扩展到 SSD 等高速设备上。
ChromeOS 通过容器化的 ARC 环境运行 Android 应用,并逐步推动应用适配大屏。
ARC(Abstraction and Reasoning Corpus)由François Chollet提出,旨在衡量系统在面对全新任务时的泛化与推理表现,而非记忆或模式匹配能力
冲击ARC基准的方法大致分为程序合成搜索、大模型测试时推理采样、以及符号推理与神经网络结合的混合架构三类
还有 29 条时间轴事件
全部知识事实 (20)
METR(Model Evaluation & Threat Research)是专注于前沿AI系统安全评估的独立第三方机构
90%待验证ZFS 的 ARC(Adaptive Replacement Cache)默认会动态占用系统可用内存的较大比例,在内存紧张环境中需手动限制
60%待验证ARC(Abstraction and Reasoning Corpus)是2019年由François Chollet提出的通用智能评测基准,由视觉网格谜题组成,要求从示例中归纳变换规则并应用到新输入。
50%待验证同一个前沿模型在同一个谜题游戏中,仅因外围代码和设置不同,得分从13.3%提升到38.3%。
50%待验证OpenAI在ARK AGI 3报告中通过启用两个harness设置(跨步骤保留模型推理过程、对历史进行摘要而非截断),在相同输出token数量下让模型采取了更多动作、通过了更多关卡。
50%待验证标准下游benchmark包括MMLU、HellaSwag、ARC、GSM8K等,分别考察知识问答、常识推理、科学推理和数学能力。
50%待验证CFS以高温超导磁体技术闻名,其SPARC与ARC路线图依赖于高温超导磁体的小型化突破。
50%待验证ARC 包含 L2ARC(二级缓存),可将缓存扩展到 SSD 等高速设备上。
50%待验证自适应替换缓存(ARC)通过四个链表(MRU、MFU 及对应的幽灵列表)动态平衡最近使用和频繁使用的数据,与传统的 LRU 不同。
50%待验证ChromeOS 通过容器化的 ARC 环境运行 Android 应用,并逐步推动应用适配大屏。
50%待验证冲击ARC基准的方法大致分为程序合成搜索、大模型测试时推理采样、以及符号推理与神经网络结合的混合架构三类
50%待验证Kaggle是全球最大的数据科学竞赛平台,长期承载着ARC系列挑战赛
50%待验证ARC(Abstraction and Reasoning Corpus)由François Chollet提出,旨在衡量系统在面对全新任务时的泛化与推理表现,而非记忆或模式匹配能力
50%待验证每道ARC题目呈现为若干组输入-输出网格示例(通常3-5对),要求模型仅凭这几个样本归纳出变换规则并应用于新输入
50%待验证人类受试者在ARC题目上的平均正确率可达85%以上,而主流大语言模型长期徘徊在20%以下
50%待验证ARC(AI2 Reasoning Challenge)是艾伦人工智能研究所推出的科学推理问答数据集,于2018年发布,包含约8000道美国3-9年级标准化科学考试题目
50%待验证同等规模甚至更小的LRM已经将ARC 1基准刷满(saturate),准确率接近100%
50%待验证基础LLM在ARC 1上的表现至今仍停留在约10%-15%
50%待验证将模型规模放大约十万倍,基础LLM在ARC上的成绩只从0%提升到约10%
50%待验证传统知识类基准可能掩盖流动智能的缺失,ARC这类任务更能暴露范式差异
50%