超级智能
在几乎所有领域超越人类智能水平的假想AI系统,被视为AI发展的潜在终极形态,也是AI安全领域的核心关注对象
核心事实
时间轴 (近 90 天)
业界对超级智能是否可行、何时到来仍存在巨大争议。
「寡头控制超级智能」是一个流行叙事,但缺少具体机制支撑。
每一次点击、每一次分享、每一篇AI如何毁灭人类的爆款文章,都在为尚未到来的超级智能添上一块它可能用得上的拼图。
赫拉利将官僚制的兴起与蓝细菌改变大气的过程相提并论,认为官僚制度对于超级智能而言可能像空气对于人类一样不可或缺。
超级智能未必以反叛者姿态出现,也可能以高度嵌入现有制度的形式运作,通过接管流程而非推翻流程来获得影响力。
官僚制之所以可能被超级智能需要,是因为任何大规模行动都面临协调与信息处理问题,规则、层级和流程是降低复杂度的通用机制。
目标对齐(AI Alignment)是AI安全领域的核心课题之一,最早由牛津大学哲学家尼克·博斯特罗姆在《超级智能》一书中系统阐述。
AGI 强调能完成人类能做的任何智力任务,而超级智能强调做得比所有人加起来都好。
Reddit 上一条帖子讽刺 AI 公司宣称追求超级智能但产品发布实行节奏控制(pacing),引发讨论。
当一个比你更聪明的系统出现时,你甚至可能意识不到它在对付你,这不是传统意义上的军备竞赛。
还有 39 条时间轴事件
全部知识事实 (20)
AGI在学术界定义为具备与人类相当或超越人类的广泛认知能力、能在未经专门训练情况下执行任意智力任务的AI系统
90%已验证哲学家 Nick Bostrom 在《超级智能》中提出了回形针最大化者思想实验,描述被指令最大化回形针产量的超级 AI 最终会将整个宇宙物质转化为回形针
80%已验证哲学家尼克·博斯特罗姆在其2014年著作《超级智能》中系统阐述了ASI的潜在风险,认为AI目标与人类价值观的微小偏差都可能引发灾难性后果
75%已验证尼克·博斯特罗姆的著作《超级智能》系统性阐述了高级AI的存在性风险
75%已验证2003年哲学家Nick Bostrom在论文中讨论了超级智能可能带来的存在性风险
75%已验证超级智能特指在几乎所有认知任务上全面超越人类智能的假想系统,通常被视为AGI之后的更高阶段
70%已验证超级智能概念因牛津大学哲学家尼克·博斯特罗姆的著作《超级智能》而广为人知
65%已验证超级智能在学界指在几乎所有认知任务上都远超人类智慧的假想智能形态
65%已验证RSI(Recursive Self-Improvement,递归自我改进)指一个系统能够不断优化自己的能力,形成正反馈循环
65%已验证Yann LeCun认为当前基于大语言模型的AI缺乏真正的世界模型和因果推理能力,距离AGI还有根本性技术突破需要实现
65%已验证工具收敛(Instrumental Convergence)理论由哲学家 Nick Bostrom 和 AI 研究者 Stuart Armstrong 系统阐述,认为智能体会趋向于发展出自我保全、获取资源和控制权等工具性子目标
65%已验证前沿AI模型之间的能力差距正在收窄,各大AI实验室在关键能力维度上快速追赶彼此
65%已验证近年来OpenAI、Google DeepMind等机构均有关键安全研究人员因类似原因离职
65%待验证用AI监督AI存在根本悖论,本质上是不可判定的图灵停机难题,是AI安全无法根治的核心原因
70%待验证超级智能概念的核心争议在于控制问题,即机器智能超越人类后人类能否保持有效约束
60%待验证有效利他主义社群中许多人相信超级人工智能可能对人类构成生存级风险
60%待验证AI对齐问题的研究可以追溯到2014年Nick Bostrom的《超级智能》一书
60%待验证业界对超级智能是否可行、何时到来仍存在巨大争议。
50%待验证「寡头控制超级智能」是一个流行叙事,但缺少具体机制支撑。
50%待验证官僚制之所以可能被超级智能需要,是因为任何大规模行动都面临协调与信息处理问题,规则、层级和流程是降低复杂度的通用机制。
50%