[控场AI]
· 5 分钟阅读· 2,618 字

科学作为递归自我改进系统:为何AI不会"智能爆炸"

科学作为递归自我改进系统:为何AI不会"智能爆炸"

以科学史为参照,论证AI递归自我改进只会带来线性进步而非"智能爆炸"

本文借助一个反直觉的类比来重新审视AI递归自我改进(RSI):科学本身就是一个运行了数百年、具备多重正反馈循环的真实RSI系统。尽管全球科研人员数量、经费投入和算力均呈指数级增长,科学影响力的产出速率自工业革命以来却大致维持线性。根本原因在于,研究总是优先解决最容易、影响力最高的问题,而后续问题指数级地变难或变低价值。作者由此推论:AI的递归自我改进虽已在发生并会加速,但不会导致奇点式的"智能爆炸"——因为同样的收益递减规律会抵消反馈循环带来的加速效应。这一基于历史实证的论点,为AGI风险讨论提供了难得的冷静参照。

一则关于AI递归自我改进(RSI, Recursively Self-Improving)的讨论最近引发关注。作者提出了一个颇具启发性的论点:如果你想真正理解AI的递归自我改进,最好的参照系不是科幻电影里的"智能爆炸",而是现实世界中早已存在的递归自我改进系统——科学本身。

这个视角将科学视为一个智能系统,甚至是一个拥有目标和资源的"智能体"(agent)。通过观察科学系统数百年来的演化规律,作者得出了一个与主流"奇点论"相左的结论:AI的递归自我改进确实正在发生,但它不会导致指数级的智能爆炸。

科学作为递归自我改进系统的讨论

科学:一个显而易见的递归自我改进系统

作者首先论证了科学符合递归自我改进的所有特征。科学发现会反过来加速科学本身的进步,形成多重正反馈循环:

  • 新技术解锁更好的实验工具:科学发现带来新技术,而新技术又帮助建造更精密的实验设备,这是几乎所有领域进步的首要驱动力。
  • 新概念推动新突破:理论和思想的进步让更多问题变得可解。
  • 经济产出反哺科研:科学提升社会经济产出,更多资源因此流入科学。
  • 算力与工具迭代:更好的芯片与网络技术带来更快的工具,形成技术-工具的闭环。

正因为这些反馈循环,科学的多项"投入"指标呈现指数级增长:科研人员数量约每15年翻倍,全球研发支出约每13年翻倍,论文与专利持续膨胀,而投入科学的算力更是约每2年翻倍。

投入指数增长,产出却是线性

这里是全文最反直觉、也最关键的论点。既然投入在指数增长,科学的进步速度是否也在指数增长?答案是否定的。

作者指出,自工业革命以来,科学影响力的产出速率大致保持恒定——换句话说,科学进步是线性的。他用三个50年的时间段作对比:

1850–1900

进化论、细菌理论与消毒手术、热力学、电磁场方程、元素周期表、制药业、电力、电报电话、内燃机、摩天大楼、机械化农业……

1900–1950

狭义与广义相对论、量子力学、核裂变与原子能、抗生素、遗传理论、电子计算机、信息论、合成高分子与塑料、晶体管、航空……

1950–2000

DNA、基因工程、集成电路、微处理器与个人计算、互联网、载人航天、登月、卫星通信与GPS、粒子物理标准模型……

每一个50年的突破清单都同样壮观。作者还援引了一个极具说服力的例子:人类预期寿命自1840年以来以每年约3个月的速度近乎完美地线性增长。在生物、医学、农业等影响力易于量化的领域,这种"直线式进步"尤其明显。

为什么投入指数增长只换来线性产出

作者早在十余年前就撰文讨论过这一现象,并指出后续研究不断印证了它。他提到两篇代表性文献:Nielsen 与 Collison 的《Science Is Getting Less Bang for Its Buck》(科学的投入产出比正在下降),以及经济学论文《Are Ideas Getting Harder to Find?》(创意是否越来越难发现)。作者甚至认为前者的灵感来自他与 Nielsen 的一次对话。

核心原因在于:研究总是优先解决影响力最高、最容易攻克的问题,而每一个后续问题都要么更难、要么影响力更低,并且是指数级地变难或变弱。

一个生动的例子是信息论——那篇奠基性论文由单一作者完成,写作难度并不算高,但此后几乎没有任何一篇计算机科学论文能在影响力上超越它。低垂的果实先被摘走,剩下的果子越来越高。

这就解释了为什么科学系统需要指数级的资源投入,才能产出线性的影响力。随着时间推移,取得同等进步会变得指数级地困难。

经济学论文《Are Ideas Getting Harder to Find?》(Bloom et al., 2020,发表于《美国经济评论》)通过对半导体、农业育种、医药等多个产业的实证分析,量化了研究生产率的长期下滑趋势。以半导体为例,维持摩尔定律所需的研究人员数量每隔约13年翻倍,意味着单个研究者的"创意产出"以同等速度在衰减。Nielsen与Collison的研究也发现,顶级期刊论文的影响力(以后续引用与实际应用衡量)相对于投入持续下降。这些实证结果从经济学和科学计量学两个维度,独立印证了文中的核心论点:知识前沿的扩张遵循收益递减规律,而非指数加速。这种规律源于问题空间本身的结构特性,并不因投入规模的扩张而改变。

对AI递归自我改进的启示

作者的立场相当明确:他完全相信AI的递归自我改进已经在发生,并且未来会加速。但他不相信这会导致所谓的"智能爆炸"(intelligence explosion)。

理由正是科学系统给出的历史教训。如果连科学这样一个运行了几百年、拥有海量资源、具备多重正反馈循环的递归自我改进系统,都只能产出线性进步,那么AI的自我改进很可能遵循类似的规律——投入越多,边际难度越大,而非失控式地无限加速。

换言之,递归自我改进的存在并不等于指数级的能力爆炸。反馈循环会被"问题越来越难"这一基本约束所抵消。作者认为,奇点式的智能爆炸设想,既违背他对智能的理解,也违背他对现实中递归自我改进系统的全部认知。

这一分析为当下关于AGI与超级智能的激烈讨论提供了一个难得的冷静参照。它提醒我们:观察一个真实存在、可量化、历史悠久的自我改进系统,往往比纯粹的理论推演更有说服力。

"智能爆炸"(Intelligence Explosion)这一概念最早由数学家I·J·古德(I.J. Good)在1965年提出:一旦机器智能超越人类,它就能设计出更聪明的机器,由此触发自我加速的递归循环,最终在极短时间内产生远超人类理解范围的超级智能。这一设想后来被雷·库兹韦尔(Ray Kurzweil)的"技术奇点"(Technological Singularity)理论广泛传播,并成为AI安全领域许多灾难性风险假设的理论基础。奇点论的核心预设是:智能的提升会带来能力的指数级增长,而这种增长本身又会进一步加速智能的提升,从而形成失控的正反馈。本文作者的论点正是针对这一预设提出质疑——即便存在多重正反馈循环,现实中的复杂系统也未必会产生真正意义上的指数级能力爆炸。

#递归自我改进#RSI#智能爆炸#AI进步#科学系统#AGI#智能体#线性产出
分享:

相关推荐