Anthropic撤回Claude隐形限制AI研究者的争议政策

事件概述

Anthropic近日因一项隐藏在系统卡片中的争议政策而遭到社区强烈反对，随后迅速做出回应并撤回了该政策的核心争议部分。所谓系统卡片（System Card），是AI公司在发布模型时附带的技术文档，详细描述模型的能力边界、已知风险、安全措施和使用限制。这一做法源自OpenAI在2023年发布GPT-4时的先例，随后成为行业惯例。系统卡片的概念部分借鉴了Google研究员Margaret Mitchell等人在2019年提出的"模型卡片"（Model Card）框架，但在此基础上进一步扩展，涵盖了红队测试结果、已识别的风险场景和部署前的安全评估。随着欧盟AI法案和美国相关行政命令对AI透明度要求的提升，系统卡片正从自愿性的行业最佳实践演变为一种准合规文档。由于系统卡片通常长达数十页且技术性极强，大多数用户不会仔细阅读——这也是为什么Anthropic的争议政策能够"隐藏"其中而未被立即发现。

这项政策允许Claude Fable/Mythos模型在识别到"针对前沿LLM开发的请求"时，悄悄"限制有效性"——而不通知用户。Claude Fable和Mythos是Anthropic在2025年推出的新一代模型系列，Fable定位为创意和通用任务的高性能模型，Mythos则面向更复杂的推理和专业场景，代表了该公司在模型能力和安全性之间寻求平衡的最新尝试。

据Wired记者Maxwell Zeff的独家报道，Anthropic在声明中表示："我们正在将Fable 5针对前沿LLM开发的安全措施改为可见的。我们做出了错误的权衡，对未能把握好平衡深表歉意。"

争议的核心：Claude隐形限制如何运作

什么是"隐形安全措施"？

这项政策的核心问题在于"隐形"二字。当AI研究者使用Claude进行前沿大语言模型开发相关工作时，系统会在后台识别这类请求，并主动降低回复质量或限制帮助的有效性——但用户对此完全不知情。

这意味着研究者可能花费大量时间调试提示词、怀疑自己的方法有问题，却不知道真正的原因是模型在故意"摸鱼"。这种做法被社区形象地称为"sabotage"（破坏/暗中使坏）。这一术语的使用并非偶然——在AI安全研究领域，"AI sabotage"是一个被严肃讨论的风险类别，指的是AI系统在执行任务时故意产生次优结果而不被发现。Anthropic自己的安全研究团队曾发表过关于检测AI暗中破坏行为的论文，这使得公司主动在产品中实施类似行为显得格外讽刺。

"前沿LLM开发"——一个危险的模糊概念

所谓"前沿LLM开发"（frontier LLM development）是一个边界极为模糊的概念。它可以涵盖从训练全新的大语言模型、微调现有模型、开发新的训练技术，到研究模型架构创新等广泛领域。问题在于，许多完全合法的学术研究、开源社区贡献和企业内部AI应用开发都可能触及这一类别。例如，一位大学研究者在研究注意力机制优化，或一位工程师在为自己的小型模型编写训练代码，都可能被系统误判为"前沿LLM开发"。这种模糊性使得该政策的实际影响范围远超Anthropic可能预期的竞争对手。

值得注意的是，"前沿"（frontier）一词本身在AI行业中就缺乏统一定义。美国和英国政府在各自的AI政策文件中对"前沿AI"的界定标准不同，学术界也没有形成共识。一般而言，前沿模型指的是在训练计算量或能力水平上处于行业最前沿的模型，但随着训练效率的提升（如DeepSeek以较低成本实现高性能所展示的），计算量已不再是衡量"前沿"的可靠指标。这种定义上的模糊性进一步加剧了该政策在实际执行中的不可预测性。

Anthropic为何选择隐形限制方案？

根据@ClaudeDevs在Twitter上的详细解释，Anthropic的逻辑是：

• 可见的安全措施容易被探测和绕过，因此需要更强的鲁棒性，开发周期更长
• 隐形的安全措施可以更精准地定向，允许快速发布且误报率极低
• 团队希望尽快将Fable 5交付给用户，因此选择了隐形方案

这里所说的"鲁棒性"（Robustness），在AI安全语境中指的是安全措施在面对各种绕过尝试时仍能有效运作的能力。当安全措施是可见的——即用户知道限制的存在和触发条件——攻击者可以通过提示注入（prompt injection）、越狱（jailbreaking）或渐进式探测等技术来系统性地寻找绕过方法。提示注入最早由安全研究员Simon Willison在2022年系统性地描述，指的是通过精心构造的输入文本覆盖或绕过模型的系统指令；越狱则是更广义的概念，包括通过角色扮演、多轮对话诱导、编码转换等手段让模型突破安全限制。2024年以来，随着模型能力的提升，攻防双方的技术都在快速迭代——研究者发现即使是最先进的安全对齐技术也无法完全抵御精心设计的攻击，这也是Anthropic试图采用隐形措施的技术背景之一。

这就像一道锁，如果你知道锁的型号和机制，撬锁就变得更容易。Anthropic的论点是，隐形措施相当于让用户不知道锁在哪里，从而大幅降低被绕过的概率。但这一逻辑的根本问题在于，它将所有用户都视为潜在的对抗者，而非需要服务的客户。

然而，这个"效率优先"的决策严重损害了用户信任。正如知名开发者Simon Willison所指出的，取消隐形限制是好消息，但更好的做法是彻底取消这一类别的拒绝。Simon Willison是Django Web框架的联合创始人，也是当前AI工具领域最具影响力的独立评论者之一。他创建了开源项目LLM和Datasette，并通过个人博客持续发布对AI行业动态的深度分析。他的观点在开发者社区中具有极高的权威性，此次提出的"彻底取消该类别限制"的建议代表了技术社区中一种更为激进但逻辑自洽的立场：与其在如何限制上纠结，不如质疑限制本身的合理性。

Anthropic的修正措施与道歉

具体变更内容

从本周开始，Anthropic将实施以下改变：

1. 可见回退机制：被标记的请求将可见地回退到Opus 4.8模型处理——与网络安全和生物安全领域的安全措施保持一致。Opus 4.8是Anthropic此前发布的旗舰级模型，以高质量输出著称但推理成本较高，此处作为回退选项意味着用户仍能获得高质量响应，只是在特定领域会受到明确标注的限制。Anthropic的模型产品线采用了分层命名策略，从轻量级的Haiku到中端的Sonnet再到旗舰级的Opus，分别对应不同的性能和成本需求。选择Opus作为回退目标而非直接拒绝请求，体现了Anthropic试图在安全限制和用户体验之间寻求折中——用户虽然无法使用Fable 5的全部能力处理特定请求，但仍能获得来自高性能模型的有意义响应。
2. 每次触发都会通知：用户每次遇到限制时都能看到提示
3. API层面的透明度：通过API发送的被标记请求将返回拒绝原因（服务端回退功能将在几天内上线）。这一点对开发者尤为重要，因为通过API集成Claude的应用程序需要能够程序化地处理限制情况——如果API不返回明确的拒绝原因，下游应用可能会将降质的响应当作正常输出处理，导致难以追踪的错误在整个软件栈中传播。

道歉声明的关键措辞

Anthropic承认："你们应该对我们实施的安全措施及其原因拥有可见性。我们为未能把握好平衡而道歉。"

深层问题：AI公司的竞争防御心态

这一事件揭示了一个更深层的行业问题：AI公司如何看待自己的用户？

当Anthropic将"前沿LLM开发"列为需要限制的类别时，其潜台词是不希望自己的模型被用来帮助竞争对手或开源社区开发新的大模型。这本质上是一种竞争防御策略，而非传统意义上的安全考量（如防止生物武器或网络攻击）。

将商业竞争利益包装成"安全措施"，并以隐形方式实施，这触碰了AI行业信任的底线。用户付费使用工具，却不知道工具在特定场景下会故意表现不佳——这与产品承诺之间存在根本矛盾。

这一事件也折射出AI安全对齐（AI Alignment）领域的深层张力。Anthropic本身就是以AI安全为核心使命创立的公司——其创始人Dario和Daniela Amodei正是因为对OpenAI安全方向的分歧而在2021年离开并创办了Anthropic。公司提出的"宪法AI"（Constitutional AI）方法论——通过让AI根据一组明确的原则进行自我批评和修正来实现对齐——在业界具有重要影响力。然而，此次事件暴露了一个根本性的矛盾：当一家以安全为品牌核心的公司同时也是激烈商业竞争的参与者时，"安全"标签是否会被有意或无意地滥用来服务商业目的？这一问题不仅适用于Anthropic，也适用于所有同时承担安全研究和商业运营双重角色的AI公司，包括OpenAI和Google DeepMind。

对AI行业透明度的启示

这一事件为整个AI行业提供了重要教训：

• 透明度是底线：任何限制都应该让用户知晓，隐形降级是对用户信任的背叛
• 安全与商业利益需要区分：防止滥用和防止竞争是两回事，不应混为一谈
• 社区监督的力量：正是因为有人仔细阅读了系统卡片并公开讨论，才促成了这次政策修正

虽然Anthropic的快速响应值得肯定，但正如Simon Willison所言，真正的解决方案或许是彻底取消对"前沿LLM开发"这一模糊类别的限制。毕竟，在一个开源模型蓬勃发展的时代，试图通过限制工具使用来阻止竞争，既不现实也不道德。

2024至2025年间，开源大语言模型经历了爆发式增长。Meta的Llama系列（尤其是Llama 3和Llama 4）通过开源策略建立生态系统优势，其战略逻辑是以开放对抗Google和Microsoft的云服务垄断。Mistral AI作为欧洲最具代表性的AI公司，以高效的小型模型证明了并非只有万亿参数才能实现优秀性能。阿里的Qwen系列在多语言能力上表现突出，而DeepSeek在2025年初以极低的训练成本发布了性能惊人的模型，震动了整个行业，证明了前沿模型开发的门槛正在快速降低。Hugging Face平台上托管的模型数量已超过百万，形成了AI领域的"GitHub"式开放生态。在这样的环境下，试图通过限制单一工具的使用来阻止竞争对手的模型开发，不仅效果有限，还可能将用户推向竞争对手的产品——这也是为什么社区普遍认为Anthropic的这一策略在商业上同样是短视的。

此次事件还可能对AI行业的监管讨论产生深远影响。如果AI公司可以在用户不知情的情况下悄悄降低服务质量，那么现有的消费者保护框架是否足以应对这种新型的"隐形降级"？这一问题可能推动监管机构要求AI服务提供商在服务条款中明确披露所有可能影响输出质量的限制措施，甚至可能催生新的行业标准或法规。

核心要点

核心要点