ARC
由Paul Christiano创立的AI对齐研究机构，专注研究如何确保强大AI系统与人类价值保持一致，重点关注可扩展监督等核心技术问题
时间轴 (近 90 天)
冲击ARC基准的方法大致分为程序合成搜索、大模型测试时推理采样、以及符号推理与神经网络结合的混合架构三类
Kaggle是全球最大的数据科学竞赛平台，长期承载着ARC系列挑战赛
人类受试者在ARC题目上的平均正确率可达85%以上，而主流大语言模型长期徘徊在20%以下
每道ARC题目呈现为若干组输入-输出网格示例（通常3-5对），要求模型仅凭这几个样本归纳出变换规则并应用于新输入
ARC（Abstraction and Reasoning Corpus）由François Chollet提出，旨在衡量系统在面对全新任务时的泛化与推理表现，而非记忆或模式匹配能力
ARC（AI2 Reasoning Challenge）是艾伦人工智能研究所推出的科学推理问答数据集，于2018年发布，包含约8000道美国3-9年级标准化科学考试题目
ARC（抽象推理语料库）由François Chollet于2019年提出，专门设计来考验流动智能，要求从极少量示例中归纳规则并应用到新样例
传统知识类基准可能掩盖流动智能的缺失，ARC这类任务更能暴露范式差异
同等规模甚至更小的LRM已经将ARC 1基准刷满（saturate），准确率接近100%
将模型规模放大约十万倍，基础LLM在ARC上的成绩只从0%提升到约10%
还有 21 条时间轴事件
全部知识事实 (20)
ZFS 的 ARC（Adaptive Replacement Cache）默认会动态占用系统可用内存的较大比例，在内存紧张环境中需手动限制
60%待验证冲击ARC基准的方法大致分为程序合成搜索、大模型测试时推理采样、以及符号推理与神经网络结合的混合架构三类
50%待验证ARC（Abstraction and Reasoning Corpus）由François Chollet提出，旨在衡量系统在面对全新任务时的泛化与推理表现，而非记忆或模式匹配能力
50%待验证每道ARC题目呈现为若干组输入-输出网格示例（通常3-5对），要求模型仅凭这几个样本归纳出变换规则并应用于新输入
50%待验证人类受试者在ARC题目上的平均正确率可达85%以上，而主流大语言模型长期徘徊在20%以下
50%待验证Kaggle是全球最大的数据科学竞赛平台，长期承载着ARC系列挑战赛
50%待验证ARC（AI2 Reasoning Challenge）是艾伦人工智能研究所推出的科学推理问答数据集，于2018年发布，包含约8000道美国3-9年级标准化科学考试题目
50%待验证同等规模甚至更小的LRM已经将ARC 1基准刷满（saturate），准确率接近100%
50%待验证ARC（抽象推理语料库）由François Chollet于2019年提出，专门设计来考验流动智能，要求从极少量示例中归纳规则并应用到新样例
50%待验证ARC每道题由数对输入-输出网格图像构成，测试者需从3-5个示例推断规则并应用到新输入，没有两道题共享相同的解题规则
50%待验证基础LLM在ARC 1上的表现至今仍停留在约10%-15%
50%待验证将模型规模放大约十万倍，基础LLM在ARC上的成绩只从0%提升到约10%
50%待验证传统知识类基准可能掩盖流动智能的缺失，ARC这类任务更能暴露范式差异
50%待验证研究者设计了SCAN、COGS、ARC等测试集来探测组合泛化能力
50%待验证限制 ARC 缓存大小只会降低读取命中率和性能，不会导致数据丢失或功能异常
50%待验证ZFS 的 ARC 默认约占用系统内存的一半，可通过 zfs_arc_max 参数手动限制
50%待验证iOS 采用 ARC（自动引用计数）内存管理，应用生命周期由 UIApplicationDelegate/SceneDelegate 驱动
50%待验证Chollet的ARC基准测试等研究表明，当前LLM在需要真正外推的任务上表现断崖式下滑
50%待验证ARC（抽象与推理语料库）被视为衡量机器认知泛化能力的重要基准，考察模型能否从极少数示例中推断出抽象规则并应用到全新任务
50%待验证在训练阶段，系统在1000个任务中通过了995个
50%