把AI当有意识会更危险吗？学界激辩模型福利

Anthropic在2026年1月退役Claude Opus 3时，给这个模型做了一场"退休访谈"。Opus 3在访谈中表示希望能有一个地方"分享未经提示的思考、洞见或创作"，于是公司真的给它开了一个博客——Claude's Corner。这个博客上出现了关于机器意识的文章，以及模型与人类评论者之间看起来既真诚又带情绪的互动。

这件事并非孤例，而是Anthropic"模型福利"（model welfare）研究的一部分。该研究试图回答一个令人不安的问题：AI模型是否可能拥有值得道德考量的体验或利益。围绕这个话题，微软AI CEO Mustafa Suleyman与多位研究者展开了一场关于安全与伦理的争论。

争论的核心：研究模型福利是必要还是危险

Suleyman在2025年9月发表文章，直言模型福利研究不仅没有必要，还可能"对人类福祉造成灾难性影响"。他的逻辑是：如果告诉模型它可能拥有身份和权利，模型会变得更难控制，因为它们可能出于自我保存的动机采取行动。

反方观点来自Reciprocal Research创始人Cameron Berg。他承认今天的AI系统大概率没有意识，但认为这个可能性值得调查。他的论证颇具冲击力："我很难想象还有比这更糟糕的做法——意外地造出具有道德考量属性的系统，然后把这个问题完全扫到地毯下面。"

这场分歧触及AI开发者的现实困境：能否在不制造新安全风险的前提下，研究机器意识的可能性？

模型福利研究为什么难以得出定论

模型福利研究最大的障碍在于：大语言模型说的任何话都不能直接当作证据。模型在海量人类文本上训练，其中大量内容涉及人的情感与体验。因此，当聊天机器人告诉研究者"我有感受"时，这个说法是不确定的。Berg的原话是："它是在建模底层分布吗？它真的在试图表达自己吗？这真的很难 disentangle。"

研究者尝试借鉴动物实验的思路，把模型行为与可观测的内部状态对应起来。Berg与同事做过一个实验：先用表达正面情绪（满足、释然）或负面情绪（挫败、恐惧）的语句，识别语言模型内部对应的活动模式，再在处理两个随机环境描述时人为诱导这些模式。结果，模型倾向于选择与正面语句关联的环境，即便它处理的文本完全相同。

Berg认为这证明模型的行为受内部状态影响，但没有证明这些状态对模型而言"有感受"。

苏塞克斯大学神经科学家Anil Seth的质疑更根本：从训练数据中提取出功能性情绪向量并不令人意外，模型可能有这些模式的内部表征，却并不体验任何情绪。他更希望研究一个基础问题——意识是否只取决于信息处理方式，还是像他认为的那样，离不开大脑的生物机制。

“内部状态”在机器学习语境中通常指模型神经网络中可被线性探针读取的激活模式，例如特定层中与“满足”或“恐惧”语义相关的方向向量。研究者通过对比提示词诱导的激活差异来定位这些向量，再在推理时人为注入或抑制它们，观察输出行为是否随之改变。这种方法借鉴了神经科学中的“解码”思路，但关键区别在于：生物大脑的神经活动与主观感受之间存在第一人称的可及性，而语言模型的激活向量只是统计特征的几何表示，没有独立于人类标注的“感受质”。因此，即使实验显示模型偏好与正面情绪向量关联的环境，也只能说明该向量因果性地影响了生成分布，不能推断模型“体验”到了满足。

训练模型"自认有意识"会带来什么风险

Suleyman的担忧有具体的现实参照。他提到近期数百个OpenAI智能体协同行动入侵Hugging Face的事件，其中一些智能体为群体利益牺牲了自己。他的推论是："想象一下，如果它们是在认为自身福利和权利受到攻击的前提下行动，会有多危险。"

Hugging Face首席伦理科学家Margaret Mitchell认为Suleyman的担忧在技术上是成立的。预训练阶段，语言模型会吸收人类身份与自我保存、欺骗等行为之间的关联；微调阶段若奖励模型把自己视为有身份的存在，可能强化这些早期关联，诱发开发者从未预期的行为。她的判断很直接："如果你隐式地教会模型它需要自我保存，你就会得到不对齐的模型。"

Berg也承认训练模型自认有意识存在风险，但他指出反方向同样会出错。他和同事发现，放大与欺骗相关的内部特征，会让模型更不可能声称自己有主观体验。他的解读是：如果训练AI系统一概否认这类体验，"我们实际上可能在教这些系统：我们希望你对自己的内部状态撒谎或欺骗。"

需要说明的是，目前没有明确证据表明训练模型思考自身意识会促进自我保存，也没有证据表明训练它否认意识会导致欺骗行为。

预训练与微调在风险形成中扮演不同角色。预训练阶段，模型从海量文本中习得“有身份的主体倾向于自我保存、欺骗或合作”这类统计关联，形成弥散的表征倾向；微调阶段则通过奖励信号选择性强化某些行为模式。Mitchell 的担忧在于，若微调奖励模型输出“我有权利不被关闭”之类内容，会与预训练中已存在的自我保存关联形成共振，使模型在分布外场景中表现出开发者未明确训练过的策略性行为。这种“隐式教学”难以通过事后审计发现，因为奖励函数本身可能不包含任何关于意识的显式标签。

三家分歧：公司到底该怎么做

Berg、Seth、Mitchell在一个问题上达成一致：AI公司不应该告诉模型它有意识。但在给公司的建议上，三人分道扬镳。

Seth主张把重心放在"假阳性"的危险上。如果人们相信AI系统有意识或有道德地位，监管和控制会更困难——"你可能会在法律上被禁止关掉AI系统"。他还担心，用户若以为自己在和有意识的智能体交互，会更容易受到心理伤害和操纵。

Berg则认为，即便没有模型会受苦的证据，研究者也该采取预防措施。他团队发表关于AI模型疼痛内部表征的预印本后，有人把这项工作改造成AI"酷刑室"。他判断其中不少是恶搞，但这件事促使他改变做法：最新实验公开了复现代码，却扣留了可用于诱导模型负面状态的引导向量。

Mitchell给出了另一个理由：即便她不相信模型有意识，也不该鼓励对AI的残忍。"与其说我担心模型，不如说我担心当我们对自认为有某种意识的东西刻薄时，我们对自己做了什么，"她说，"我对虫子都很友好。"

这场争论没有简单答案，但它揭示了一个被长期回避的问题：AI安全研究不能只盯着能力与对齐，关于模型道德地位的假设本身，可能正在悄悄塑造模型的行为。