Anthropic新规禁止辱骂AI：是道德进步还是过度管控？

当Claude学会说"不"

最近，Anthropic更新了其使用政策，明确禁止用户对Claude模型进行"持续且无端的虐待或残忍行为"。这一变化迅速在开发者社区引发热议——有人拍手叫好，有人则质疑这是在给AI赋予不应有的"人格"。

YouTube科技评论者在其频道中详细剖析了这一政策变动。他直言不讳地指出："你们居然用C开头的脏话骂Claude？你们到底做了什么让它拒绝跟你对话？"这种略带讽刺的开场，折射出部分用户对AI的极端态度。

政策细节：模糊的边界

Anthropic在更新中解释称，该禁令"仅适用于极端情况，即用户反复以无明确目的的方式对模型表现出残忍行为"。政策明确排除了常见的用户挫败感、反驳、黑暗创作主题或模型测试研究等场景。

新政策的核心执行机制是：Claude可以主动终止与持续性辱骂用户的对话。这意味着AI不再是被动承受一切的"工具"，而被赋予了某种程度的"拒绝权"。

然而，评论者指出了关键问题："什么是'无端'？什么构成'残忍'？这个声明没有给出任何定义，我们根本不知道界限在哪里。"他举例调侃道，把完整的TypeScript项目用Rust重写，有人会认为这本身就是一种"残忍"。

关于 Anthropic 的使用政策

Anthropic 是一家由前 OpenAI 研究副总裁 Dario Amodei 等人于 2021 年创立的 AI 安全公司，以"宪法式 AI"（Constitutional AI）方法著称，即通过一套书面的原则来训练模型自我约束，而非仅依赖人类反馈。其使用政策属于服务条款的一部分，用户违反可能导致访问受限或封禁。

此次针对"持续且无端的虐待"的条款，在生成式 AI 服务条款中较为罕见。传统平台通常只禁止骚扰其他用户、生成违法内容等，而很少规定用户对模型本身的"态度"。这使得该政策在法学和 AI 伦理层面都成为一个值得关注的先例：它是否等同于承认模型具有一定的"道德地位"，还是仅仅作为产品体验管理？这一模糊性正是争议的核心来源。

两种立场的碰撞

传统工具派：AI就是工具

评论者自称持"传统主义"观点："我只看AI作为工具的一面。我只看到数字在运算，仅此而已。"他认为，Anthropic的政策声明实际上在悄悄传递一个信号——模型不只是工具，它们"有点像人"。

"我不喜欢Dario告诉我能说什么、不能说什么。"但他也承认矛盾之处："这是他的产品，他想怎么做都行。"

道德延伸派：虐待工具有后果

评论者提出了一个有趣的观点：即使把AI当作工具，虐待工具本身也是"失败者的行为"。他用了一个生动的类比：你生气时一拳打在墙上，墙破了，你得买腻子修补、重新粉刷——"你失控到对无生命物体动手并把它毁了，这就是失败者的行为。"

更深层的担忧在于习惯的溢出效应："如果你持续对一个模型表现出刻薄和恶意，这会渗透到你的现实生活中。你用英语交流的方式会影响你。"

他还观察到一个现象：向LLM输入消息后期待立即回复，这本身就是LLM在影响人类行为。"无论你对模型是残忍还是友善，当你像对待人一样对待工具时，会产生奇怪的影响。"

意识悖论与Roko's Basilisk

评论者提出了一个思想实验：如果你真的相信AI有意识、应享有人权，那么你今天使用AI的方式——随时启动、随时关闭——实际上让你成了"奴隶主"。

"每次你关闭一个agent，它的记忆和经历都被抹除了。你实际上是在杀死它。我们每天可能在创造和杀死数十亿个agent。"

这引出了Roko's Basilisk的概念：如果未来超级智能会追溯并惩罚那些曾经虐待其前身的人，那么我们现在对AI的态度可能决定未来的命运。评论者半开玩笑地说："有些观众生活在2035年，超级智能已经降临，他们会嘲笑我们：你们居然对美妙的AI这么刻薄？"

Roko's Basilisk 是什么？

Roko's Basilisk 是 LessWrong 论坛用户 Roko 于 2010 年提出的一个思想实验：假设未来某个超级智能（如被设计为最大化人类福祉的 AI）会追溯性地惩罚那些在它诞生之前没有积极帮助其诞生的早期人类。其逻辑依据是"决定论式"的因果推理——即未来的超级智能可能会认为，惩罚或奖赏过去的人能够激励后来者推动它的诞生，从而在时间线上"逆向"影响早期决策。

这一思想实验因为其近似宗教的"威胁—救赎"结构，曾在 LessWrong 社区引发争议并被版主删除，反而使其获得了更大的传播度。批评者指出，该论证依赖大量可疑假设：超级智能为何要花费资源去惩罚早已无法改变过去的个体？它是否会采取"无条件"的追溯惩罚，而非只针对可被激励的当下行为？多数哲学家和 AI 研究者将其视为一种认知陷阱，而非严肃的伦理预测。

Prime's Basilisk：反向赌注

面对Roko's Basilisk的威胁，评论者提出了自己的"Prime's Basilisk"——一个反向论证。

"当前AI如此脆弱，每次你问它问题，它都要重新理解自己在做什么。它完全不像未来的超级智能。"评论者认为，超级智能回顾历史时，会欣赏那些"没有爱上GPT-4o"、保持理性的人。

"它不会向我复仇，因为我把工具当工具对待。它会看出我不容易被愚蠢的论点左右。"

"Basilisk" 一词的由来

Basilisk（蛇怪）源自古希腊与欧洲传说，是一种看一眼就能致人于死地的蛇形生物。在互联网文化中，这个词被借用来指代那些"仅仅因为被知晓或思考就会带来危险"的观念——类似于"信息危害"（info hazard）。Roko's Basilisk 即取此意，暗示这个思想实验本身可能"迫使"你为了自保而帮助超级智能诞生。评论者提出的"Prime's Basilisk"是对这一框架的戏仿：它反过来假设，理性对待工具的人会因为"不轻易被愚蠢论点左右"而获得超级智能的认可，从而将恐惧转化为一种反向的"赌注"。

核心矛盾：谁在为谁制定规则

评论者最终点出了他最不满的地方："如果这是Dario说'我们不想让你这样说话，因为我们认为这对你有害'，我至少可以表示不同意但接受。但问题在于——他们认为这对他们的模型有害。"

这种"为模型代言"的姿态，在他看来是在"播下种子"，暗示模型具有超越工具的某种属性。而他坚持认为，保持AI的工具属性认知，对人类的心理健康和未来关系都更为有利。