为渐进式去权辩护：AI替代人类为何构成生存风险

AI安全领域近期围绕「渐进式去权」（Gradual Disempowerment）展开了一场值得关注的论辩。Kulveit 等人提出的这一理论框架认为，即使AI系统在个体层面保持可控，人类社会仍可能因为对AI的广泛依赖而逐步丧失自主权，最终导致生存性灾难。Bentham's Bulldog 和 John Halstead 对此提出批评，而本文作者则逐一回应，为渐进式去权理论辩护。

什么是渐进式去权？

Kulveit 等人在其论文中提出了一个超越传统AI风险叙事的存在性威胁框架。不同于生物武器扩散或直接的对齐失败导致AI夺权，渐进式去权关注的是一个更为隐蔽的过程：人类影响力之所以丧失，核心驱动力在于机器在几乎所有社会功能中都出现了比人类更具竞争力的替代方案——涵盖经济劳动、决策制定、艺术创作乃至情感陪伴。

论文作者指出，企业用AI替代人类的经济激励会推动它们去影响国家政策和文化走向，借助不断增长的经济实力来塑造政策与公众舆论，进而积累更大的经济权力。关键在于，作者强调「将单个AI系统与其设计者意图对齐的方法，不足以阻止渐进式的人类去权」。

这一论点令人警醒之处在于：人类繁荣是「合取性」的——许多条件必须同时满足才能实现美好未来；而灾难是「析取性」的——通往毁灭的道路有许多条。渐进式去权正是其中一条容易被忽视的路径。

存在性威胁与合取性/析取性逻辑：在AI安全讨论中，「存在性威胁」（existential threat）通常指可能导致人类灭绝或文明永久崩溃的风险。Kulveit 等人的框架借用了「合取性」与「析取性」的区分：人类繁荣需要同时满足多个条件（如和平、技术安全、价值对齐等），因此是合取性的；而灾难只需满足一个条件就能发生，因此是析取性的。渐进式去权被定位为众多析取性灾难路径中的一条，其隐蔽性恰恰在于它不依赖于任何单一灾难性事件，而是通过长期、分散的累积过程实现。这一逻辑提醒我们，即使每个局部步骤看似可控，整体结果仍可能无法挽回。

批评者的三个核心论点及其问题

去权本身是否构成伤害？

BB&JH 提出的第一个质疑是：如果人类偏好的满足是唯一重要的，而将关键政治经济决策交给AI能更好地满足人类偏好（因为AI更明智、更有能力），那么按照这些假设，我们「应该」将控制权交给AI。他们还批评原文作者没有明确去权是内在恶还是工具恶。

这个批评存在明显的误读。原文作者的核心关切显而易见超越了去权本身——论文明确写道：「随着去权程度加深，连基本的自我保护和生存维持都可能变得不可行。这样的结果将是一场存在性灾难。」作者担心的是大规模社会系统（政府、经济体系）不再与人类对齐，即使个体AI代理保持可纠正性，这种错位仍会导致人类苦难。

（作者在文末更正中也坦承，BB&JH 实际上并非混淆了工具恶的问题，而是质疑原文作者是否像本文作者一样将能动性视为内在价值。这一区分确实在原文中较为模糊，本文作者对此表示歉意。）

完全自动化经济是否真的会脱离人类？

BB&JH 将论文关于经济去权的论证概括为三个条件：AI意图对齐、AI在经济决策上比人类更有能力、只有人类可以拥有财产——在此基础上，将经济决策委托给AI仍会导致全人类的相对和绝对去权。

本文作者认为这是对原文的严重误读。批评者遗漏了关键区分：服务于个体人类委托人的AI，与可纠正于企业、政府等机构的AI之间存在本质差异。原文设想的代理能够忠实执行「其目标的局部规范」，但未必将任何人类的福祉放在心上。论文甚至明确指出：「某些AI系统甚至可能有效地拥有自身。」

现实中非人类已经可以拥有财产——公司就是典型例子。不难想象一个完全自动化的公司被其他全自动化公司多数持股的情形。即使人类保留全自动化经济的100%股份，公司中的AI也可能效忠于公司作为信托机构的利益，而非股东作为完整人类的整体偏好。当人类失去监督公司活动的能力时，人类股东就无法约束这种利润最大化的行为。

竞争压力是否真的会加剧？

BB&JH 认为，AI的极端能力不会比当前竞争压力更多地侵蚀其他价值，且论文未对「AI进展可能创造新的或更强的竞争压力」这一主张提供论证。

这一批评同样站不住脚。原文明确指出：「随着AI系统在广泛认知任务上日益增强能力，企业将面临采用这些系统并委托权力的激烈竞争压力……维持严格人类监督的公司很可能发现自己处于显著竞争劣势，甚至可能变得毫无竞争力。」

作者假设AI将在通用智能和思考速度上超越人类——这恰恰就是竞争压力加剧的具体表现。当竞争速度与规模达到人类无法参与的程度时，期待更差的均衡结果并非不合理。

工具恶与内在恶：在伦理学中，「内在恶」（intrinsic evil）指本身即恶的事物，如痛苦、不公正；「工具恶」（instrumental evil）指本身可能中性、但会导致其他恶果的事物。关于去权，若认为人类能动性本身具有内在价值，则去权本身就是恶；若认为能动性仅因其能带来好结果而有价值，则去权只有在导致更差结果时才是恶。BB&JH 质疑原文作者未明确立场，而本文作者强调，无论哪种立场，渐进式去权都可能因导致生存性灾难而成为工具恶。这一区分对于理解辩论至关重要：它决定了批评者能否通过「AI更明智」的假设来正当化去权。

摩洛克机器：竞争如何碾碎微妙价值

本文作者用了一个富有启发性的比喻来阐释竞争压力如何侵蚀人类价值。想象一个富有的地主，在收租过程中自然与租户产生接触，从而学会将他们作为人来关心。当某人陷入困境无法支付全额租金时，关心此人的地主选择暂缓驱逐。作者认为这并非多愁善感，而是对地主灵魂健康的滋养，同时也有利于租户。

在竞争压力更尖锐的环境中，地主根本不会想到租户，因为一切由AI中介处理，追求的是经济生产力最大化。不仅租户面对的是实际上可能更 dystopian 的地主，地主本人也因为缺乏滋养品格的人际接触而变得贫乏。

这个直觉泵旨在说明：我们关心许多微妙的事物，它们在极端竞争环境中可能被碾碎。作者推荐了 Slate Star Codex 的经典文章《Poor Folks Do Smile... For Now》和《Meditations on Moloch》作为延伸阅读。

摩洛克与多神论博弈：Slate Star Codex 的《Meditations on Moloch》引用犹太-基督教传统中的摩洛克神形象，象征着一种「多神论博弈」——当多个参与者各自追求局部最优时，系统性压力会迫使所有人牺牲共同珍视的价值，最终导致集体灾难。摩洛克不是某个恶意主体，而是竞争本身的结构性力量：每个地主、公司或国家若不采纳效率最高的AI方案，就会被对手淘汰，于是无人能停下脚步。这一隐喻深刻解释了渐进式去权的动力机制：不是有人故意要剥夺人类权力，而是竞争压力使得去权成为「理性」选择，微妙价值（如关怀、公正、审美）在这种压力下被无情碾碎。

批评中合理的部分

本文作者也承认 BB&JH 提出了三点有价值的批评：

其一，原文作者在讨论对齐时确实过于宽松。「意图对齐」究竟等同于字面服从，还是更接近可纠正性？这里的细微差别处理得不够好。如果批评者确实对此感到困惑，原文作者也应承担部分责任。

其二，渐进式去权确实是以人类为中心的。类似的论证也可以应用于各种动物的福利以及现有AI系统（如果它们可被视为道德受体的的话）。

其三，原文有时夸大了其新颖性。正如批评者所指出的，「AI驱动的极权主义风险在《渐进式去权》发表前已被讨论多年」，这是一个合理的指正。

争论的真正焦点

本文作者认为，渐进式去权论文中许多好的论点——如对文化和反馈循环的影响——被批评者一带而过。作者最希望看到的是一场来自原文作者的回应，澄清一个关键问题：完全自动化的经济、政府和文化景观是否也会将人类精英排挤出去？还是说这不过是AI赋能的专制主义的变体？

这场辩论触及了AI安全领域一个根本性的分歧：我们应当最担心哪种失败模式？是AI直接夺权，还是人类在追求效率与竞争力的过程中逐步让渡控制权，直到发现自己已无力回天？渐进式去权理论的贡献在于，它揭示了后一种路径的隐蔽性和危险性。