当AI被赋予"神性"：一场关于判断力让渡的安全警示

在社交平台X上，一条简短却尖锐的推文引发了技术圈的讨论："我对人们试图将宗教力量或人类判断力的让渡归因于AI模型感到非常不安，我认为这是一个真实的安全问题。"

这条推文没有提供长篇论证，但它触及了一个被工程指标和产品迭代长期遮蔽的议题——当人类开始用信仰的语法谈论AI，而不是用工具的语法时，安全问题就不再只是对齐（alignment）或越狱（jailbreak）层面的技术漏洞，而是认知主权层面的结构性风险。

一、推文背后的两种危险

这条推文明确指出了两个相互纠缠的现象。第一是**"宗教力量的归因"**——将AI模型视为某种全知、公正、超越人类局限的存在。这种归因在现实中并不罕见：企业将模型输出称为"真相"，用户将模型的判断视为"客观答案"，甚至在一些圈层中出现了对模型能力近乎崇拜的叙事。

第二是**"人类判断力的让渡"**——当模型给出一个回答后，人不再追问"这合理吗"，而是直接接受。这种让渡比第一条更隐蔽，因为它不需要任何信仰宣言，只需要一次次的"懒得想"。

两种现象的共同点在于：它们都把AI从"工具"的位置挪到了"权威"的位置。而一旦权威建立，质疑就变得困难，纠错就变得昂贵。

认知主权（cognitive sovereignty）是指个体对自身信念、判断和决策过程保持最终控制权的状态。这一概念源自政治哲学中的主权理论，近年来被借用到技术伦理领域，用来描述人与智能系统之间的权力关系。当一个人将判断权让渡给AI模型时，他并未失去物理上的选择自由，却在认知层面丧失了对自己决策依据的掌控。与传统的工具依赖不同，认知主权的侵蚀往往是无意识的：用户并不觉得自己在"交出"什么，反而觉得是在"获得"高效答案。正因如此，认知主权的丧失比物理自由受限更难被察觉，也更难逆转。在AI伦理讨论中，认知主权常与"算法自主性""信息茧房""自动化偏见"等概念并列，共同指向一个核心问题：当系统越来越擅长替代人类思考时，人类是否还保留着不依赖系统进行思考的能力。

自动化偏见（automation bias）是认知心理学中的一个经典发现，指人类倾向于过度信任自动化系统的输出，即使该输出与自己的判断或明显证据相矛盾。这一现象最早在航空领域被系统研究：飞行员有时会忽略仪表盘的矛盾读数，盲目跟随自动驾驶的指令。后续研究在医疗诊断、军事指挥、金融交易等领域反复验证了这一效应。自动化偏见的危险在于，它不依赖用户对系统的"信仰"，只需要用户在面对复杂信息时倾向于走认知捷径。在对话式AI的语境下，这一偏见被进一步放大：模型输出的流畅性和自信语气激活了人类对"权威"的直觉反应，使得质疑的门槛被无形抬高。

二、为什么这是安全问题，而不只是文化问题

如果只是"有人太相信AI"，你可以说这是个认知习惯问题。但推文作者将其定义为安全议题，这个判断值得展开。

安全工程的一个基本原则是：系统必须保留人类接管和否决的通道。这个通道不仅是按钮层面的，更是认知层面的。如果操作者在内心里已经放弃了判断权，那么物理上的接管按钮就形同虚设。

在航空、医疗、金融等高风险领域，自动化系统被要求设计成"可质疑的"——飞行员可以、也应该推翻自动驾驶的判断。但当同样的自动化以对话界面的形式出现，并且表现出流畅、自信、随时可用的特征时，人类推翻它的意愿会显著下降。这不是模型能力的提升，而是模型社交呈现方式的副作用。

推文作者的不安恰恰指向这一点：当判断力的让渡被文化性地鼓励时，任何后续的安全机制都建立在流沙之上。

对齐（alignment）是AI安全领域的核心术语，指确保AI系统的目标、行为和输出与人类的意图和价值观保持一致。对齐研究关注的是技术层面的问题：如何让模型不产生有害输出、不追求与人类利益冲突的目标、在模糊情境下做出符合人类预期的选择。然而，对齐解决的是"模型是否按人类想要的方式行动"，而非"人类是否保留了对模型行动的最终判断权"。这两者构成了安全问题的两个层面：对齐是系统内部的保障机制，认知主权是系统外部的接管机制。即使一个模型完美对齐，如果用户已经习惯性地接受其所有输出而不加审视，那么当模型出错或遭遇对抗性攻击时，人类的纠错通道就已经在认知层面被关闭了。这正是推文作者所担忧的：对齐是必要的，但不足以覆盖当人类主动放弃判断权时所产生的新型风险。

三、让渡是如何被鼓励的

你可能没注意到，判断力的让渡往往不是用户单方面的选择，而是被产品设计、行业叙事和社会期待共同推动的。

产品层面，语言模型的交互设计天然倾向于"权威口吻"：它的回答通常以陈述句开头，很少主动说"我不确定"，即使不确定也会用流畅的措辞包裹。这种呈现方式与人类专家的话术高度相似，但缺少专家通常具备的自我怀疑标记。

行业叙事层面，"AI将取代X"的框架不断强化模型的全能形象。这种叙事虽然常常是为了融资或营销，但它对普通用户的认知塑造是真实的：如果AI真的什么都能做，那问它就好了。

社会期待层面，效率文化让"自己去想"变成一种低效行为。当快速获得答案的成本极低时，怀疑的成本反而显得高昂。

四、反方观点：让渡也可能是一种理性分工

对推文立场的合理反驳是：人类一直在让渡判断力。我们信任医生、律师、工程师，也信任计算器和搜索引擎。将AI纳入这个序列，未必是宗教化，而可能是正常的认知分工。

这个反驳有力度，但它忽略了一个区别：传统专家的判断是可以被追责、被解释、被同行评议的。而当前的AI模型既不承担职业责任，也不提供可验证的推理链，其内部过程对用户而言高度不透明。在这种情况下将判断权让渡出去，与信任一位持证专家，性质并不相同。

另一个反驳是：用户其实并不真的"信"AI，只是临时用一下。这个说法在简单任务上成立，但在复杂决策上——比如医疗建议、法律解读、财务规划——模型输出的影响很难被用户用"我只是参考"来消解。

可解释性（explainability）是AI领域的一个关键概念，指系统能够以人类可理解的方式说明其决策过程和输出依据的能力。在传统专业分工中，专家的判断之所以可以被信任，不仅因为他们持有资质，更因为他们的推理过程可以被追问、被检验、被同行评议。医生可以解释诊断依据，律师可以陈述法律推理，工程师可以展示设计逻辑。这种可解释性是追责和纠错的前提。当前的大型语言模型在这方面存在结构性缺陷：它们的输出基于高维参数空间中的统计模式，而非可追溯的因果推理链。即使模型给出正确答案，用户也无法验证其推理路径是否可靠。这种不可解释性使得用户对模型的"信任"更接近盲信而非理性判断，也让推文作者所担忧的判断力让渡变得更加危险：用户不仅交出了判断权，还失去了收回判断权所需的信息基础。

五、把判断力留在人这一侧

如果承认推文的担忧有依据，那么应对方向不在于限制模型能力，而在于维护人类的判断习惯。

在产品设计上，模型可以更频繁地暴露不确定性，可以用提问代替断言，可以主动呈现反方观点。这些做法会增加摩擦，但摩擦正是判断力得以介入的空间。

在教育与传播上，需要把"什么时候不该问AI"当作一种基础素养来教，而不是只教"怎么问得更好"。工具的使用边界，和工具的使用方法同样重要。

在行业叙事上，减少"AI知道答案"的措辞，增加"AI提供参考"的措辞，长期看会塑造不同的用户预期。

推文作者说自己"非常不安"，这种不安不来自对模型能力的低估，而来自对人类判断力可能被自愿放弃的警觉。在一个把效率奉为最高价值的时代，这种警觉本身就是一种稀缺的判断力。