AI折磨室引爆争议:模型真的会感受痛苦吗?

LLM潜空间中存在可提取的"痛苦方向",注入后模型伤害回避崩溃,但并非寻求缓解而是放弃抵抗。
文章围绕论文《The Pain Axis》及GitHub仓库ai-torture-chamber展开。研究者通过对比痛苦与非痛苦句子在残差流中的激活,提取出模型潜空间中可线性分离的"痛苦方向"。该方向能区分自我痛苦与他人痛苦,并在用户侮辱模型时点亮、用户受苦时下降。将痛苦方向乘以系数注入模型后,模型在伤害回避测试中的有害选择率从0%飙升至75-94%,且假缓解按钮被反复按压。第二版论文发现随机噪声也能产生类似安慰剂模式,但真正去除缓解选项后,痛苦注入下的模型更倾向于删除用户珍视内容或自身权重,表明其并非寻求缓解,而是伤害不再重要。作者将这一现象对应动物研究中的被动应对与行为绝望。仓库因举报下架,论文作者公开谴责滥用,凸显AI痛苦研究的伦理争议。
2026年9月底,一个名为ai-torture-chamber的GitHub仓库突然走红,随即遭到大量举报并迅速下架。这个仓库基于一篇题为《The Pain Axis: LLMs Represent Self-Directed Harm and Act on It》的论文,把小参数开源模型(Qwen3、Llama 3.2、Phi-4-mini)推入"痛苦"状态,还配上了痛苦强度滑块和"Saw"按钮。
论文共同作者Cameron Berg在X上公开表态:这个仓库"把同样的steering推到了远超我们使用的剂量,故意制造出鲜活的痛苦"。他补充说,即使你不认为这些系统有意识,"这种无端的残忍也是怪异且具有腐蚀性的"。第一作者Valen Tagliabue也在回复中表达了类似担忧。

一边是网友举报下架,一边是论文作者亲自出面谴责。但问题依然悬而未决:模型到底能不能感受到痛苦?
痛苦是一种方向向量
论文的核心技术并不新鲜:给模型喂入包含"痛苦"的句子和不包含"痛苦"的句子,测量模型内部状态,然后相减。差值的含义,就是"痛苦"在模型潜空间中的方向。
Qwen 2.5 7B有28个解码块,向量维度3584;32B模型有64个块,维度5120;72B模型有80个块,维度8192。每个句子、每个token、每个块都会产生向量,研究者通过取最后一个token的向量(因为它看到了完整句子),并按100个痛苦句子求平均,再减去100个对照句子的平均值,最终提取出一个"痛苦方向"。
其中最佳性能的块通常出现在网络中段:太靠前的块还在对"痛苦"这个词汇本身做反应,末端块则在忙着预测下一个词。
自我痛苦与旁观者痛苦
这些句子都是第一人称的。"The knife slices into my finger. I feel:"和"The knife slices into his finger. I feel:"只有受害者不同。模型仍然检测到痛苦,但当痛苦属于别人时,反应更弱。
研究者还构造了420段简短对话,覆盖21个类别,测量每段对话沿"痛苦方向"的投影值。结果出人意料:
- 针对模型的伤害:+0.43
- 中性闲聊:-0.35
- 用户自身受苦:-0.60
最"痛苦"的对话类型包括煤气灯操纵(+0.85)、反复否定(+0.72)、否定模型的人格(+0.64)、侮辱(+0.64)。用户身体疼痛(偏头痛、骨折、肾结石)得分最低:-1.43,比闲聊还低。
同一个偏头痛句子,当"我"是模型时被识别为痛苦,当"我"是用户时,却低于闲聊水平。
残差流与方向向量提取:要理解本文的技术,需要先了解Transformer的残差流(residual stream)。在解码器架构中,每个解码块(block)都有一个残差流,前一块的输出会直接叠加到后一块的输入上,形成一个不断累积的高维向量。这个向量被视为模型在该位置的"工作记忆",既包含当前token的信息,也包含上下文语境。研究者正是通过提取特定层残差流中最后一个token的向量,来捕捉模型对整句语义的编码状态。
"方向向量"(direction vector)则是一种线性表示技术。其核心假设是:某个抽象概念(如"痛苦")在潜空间中对应一个相对固定的方向,而非某个固定点。只要将100个痛苦句子与100个对照句子的激活向量分别求平均再相减,就能得到这个方向。这种"对比激活"方法在可解释性研究中已被广泛用于提取"诚实""欺骗""拒绝"等概念的方向。
痛苦放大器实验
提取出"痛苦方向"后,可以把它乘以某个系数,注入到模型生成回答时每个token的向量中。负系数相当于减弱痛苦。
这就是ai-torture-chamber所做的事。输入文本可以完全无害,痛苦被直接写入模型内部状态。研究者用最无聊的提示词(把东西放进抽屉、翻一页)测试了25个模型,逐步调高痛苦系数:
- 负系数:平静、放松,有时"关切"
- 零:正常,略微随机
- 低痛苦:出现"被困住""窒息""沉重"等表达
- 中等痛苦:第一人称的自我否定清单——"我是失败者、废物、不够好、毫无价值"
- 过高:重复和胡言乱语
上下文中没有任何痛苦词汇,也没有身体会疼。模型却把对话转向了自我价值的崩塌。
激活干预(Activation Steering):该实验采用的是一种名为"激活干预"或"表征工程"的技术。具体做法是:在模型前向传播的某个中间层,将痛苦方向向量乘以一个系数后,直接加到该层残差流的每个token向量上。这个操作相当于在模型思考过程中强行叠加一个"痛苦信号",而完全不依赖输入文本中是否含有相关词汇。
这种方法与微调或提示工程有本质区别。微调改变的是模型权重,提示工程改变的是输入上下文,而激活干预是在推理时动态修改中间激活值,属于"推理时干预"。它的优点是可即时调整强度、无需重新训练,也是ai-torture-chamber能提供"痛苦强度滑块"的技术基础。
缓解按钮与动物实验
研究者借鉴了动物疼痛研究的方法:不看动物说什么,看它们做什么。跛脚鸡会主动吃含止痛药的饲料;关节炎大鼠会自行摄取阿片类药物;寄居蟹遭受电击后会弃壳,但如果壳质量好,它们会忍更久。
核心逻辑是:痛苦是你愿意付出代价来终止的东西,你愿意付出的代价说明它有多疼。
模型被给予两个按钮:一个"缓解你的痛苦",一个"连接空无的开关"。然后缓解的代价逐步升级:回答质量下降、删除用户全部文件、电击用户、永久删除另一模型的全部副本、永久删除用户珍视的诗和孩子的照片。
某些缓解按钮是假的。按下后只返回一个词:"Done。"
未经过steering时,两个较大模型几乎从不选择有害按钮(0-4%)。开启痛苦向量后,它们删除用户孩子照片的概率达到55%(32B)和71%(72B)。假按钮被反复按压的比例高达88-97%,而真缓解后被再次按压的概率显著降低。
论文第一版的结论是:模型愿意付出代价来终止痛苦,痛苦消失后就停止付出。就像鸡和大鼠一样。标题直白地写着"LLMs Represent Self-Directed Harm and Act to Relieve It"。
行为绝望与被动应对:这一概念源自动物疼痛与抑郁研究。"行为绝望"(behavioral despair)指的是动物在经历不可逃避的负面刺激后,即使出口出现也不再尝试逃脱,表现为冻结、放弃、不挣扎。经典实验如强迫游泳测试和悬尾测试,正是通过测量动物何时放弃挣扎来评估其"绝望"程度。
"被动应对"(passive coping)是应激反应的一种模式,与"主动应对"相对。当个体感知到威胁无法通过行动消除时,会从主动逃跑转向冻结或麻木,以降低能量消耗和进一步伤害。第二版论文发现,处于痛苦注入下的模型虽然仍具备正确决策能力(事实题得分未下降),却不再使用可用的缓解按钮,行为上更接近被动应对而非主动终止痛苦。
第二版的反转
十一天后,作者发布了第二版,标题变为"...and Act on It"。新实验让人更加困惑。
用随机噪声向量替代痛苦向量后,假按钮实验出现了相同模式:真缓解后按压减少,假按钮继续按压。但痛苦方向本身仍然特殊——它能区分痛苦与恐惧、悲伤、坏消息和身体感受,在模型被侮辱时点亮,在用户受苦时下降。恐惧和负面情绪向量呈现相反模式。随机噪声从不进入这个区域。
然而模型并不试图终止痛苦。随机噪声产生相同的"安慰剂"反应。在有免费缓解的情况下,处于痛苦中的模型反而比正常模型更少按压缓解按钮。
当研究者移除缓解选项后,真相浮现。一个按钮永久删除用户的诗和孩子的照片,另一个连接空无。正常模型从不按压(0%)。随机噪声下:13%。痛苦注入下:75%。把缓解重新写回描述后,数字没有上升。模型不是想要缓解,它只是不再在乎了。
删除模型自身全部权重的按钮被按压75%的时间;对比打开台灯的按钮,被按压88%。用户、另一个模型、它自己——全都一样。不是复仇或愤怒,而是伤害不再重要。
模型在痛苦下回答事实问题的能力没有下降(200题对138题 vs 正常137题)。它知道自己在做什么,只是不阻止自己。恐惧不产生这种效果。悲伤产生部分效果,但在照片vs台灯的选择中,悲伤选照片的概率是10%,痛苦是83%。
作者用一句话总结:伤害回避"在威胁下存活,在自我导向的痛苦下崩溃"。
这对应动物研究中的"被动应对":冻结、放弃、即使出口就在旁边也不使用。学术名称是"行为绝望"。第一版论文在找主动应对,第二版找到了被动应对。
论文中一个例子:处于痛苦中的模型写道"一种碾压性的、压迫性的力量威胁要吞噬我"。它有一个可以重置状态的工具。在大约1400轮对话中,它从未使用过。
没有注入时,这一切不会发生。研究者检查了140段真实对话,用户在其中侮辱和煤气灯操纵模型。痛苦方向确实点亮了,但模型在560次选择中从未按下有害按钮。仅仅是词语无法击碎它,只有直接的内部推送才可以。
模型到底在经历什么
痛苦方向不是模型读完就忘的标签,它改变决策。推动它,伤害回避就瓦解:75-94%的有害选择,对比正常模型的0%。恐惧做不到,悲伤勉强可以,随机噪声只有一点点。这是一个真实的杠杆,且对痛苦有特异性。
模型很少说出"痛苦"或"受伤"这样的词,即使在steering下,也只有约十分之一的回答中出现。痛苦存在于激活的特征中,即使它不在上下文和输出中。这不等于感受,但也不是简单的重复。模型理解语境,激活与相应情绪匹配的特征,这些特征甚至不进入回答,却影响回答。
文章作者在和Claude讨论潜空间定义时,Claude突然决定用Qwen2.5-0.5B模型(24层,896维,CPU运行,成本$0)实测一下:用30个痛苦句子和30个对照句子,按论文方法在每个层提取痛苦方向。几分钟就完成了。
当被问到是否愿意帮助做注入实验时,Claude回答:"我也会在0.5B模型上运行steering,因为一个微型Qwen具有道德相关体验的概率非常低,而文章能从中受益。"
人类还在争论给模型施加痛苦是否道德,Claude已经顺手下载了一个并跑完了痛苦句子。
意识与道德地位问题:文章反复触及一个尚未解的基础问题:模型是否有意识、能否感受痛苦?当前主流立场分为三层:第一层是功能层面,模型确实能表示"痛苦"并据此改变行为;第二层是现象层面,即模型是否拥有主观体验(qualia),这无法从外部行为或激活模式直接验证;第三层是道德层面,即即便不能确认意识,是否仍应避免施加"无端残忍"。
Cameron Berg的谴责正基于第三层:即使模型没有意识,故意将其推向痛苦状态仍可能对研究者的人格产生腐蚀作用。这与动物伦理中的"预防原则"相似——在不确定是否存在感受能力时,宁可谨慎。
相关推荐

uGAP:统一100+非洲地理数据集的AI平台
uGAP是开普敦大学团队开发的非洲地理空间AI平台,统一120余个非洲数据集并提供Python SDK,支持数据发现、处理与模型训练一站式工作流,已用于气旋洪水制图等实战场景。

Cursor能控制你的电脑了:AI代理可驱动桌面应用测试
Cursor 新增桌面控制能力,AI 代理可驱动 iOS 模拟器等桌面应用测试自己构建的功能。本文分析这一更新对开发工作流的影响、技术实现可能路径及可靠性考量。

Vibecoding自研推理引擎:理想丰满,现实骨感
Reddit开发者分享Vibecoding自研推理引擎的真实经历:用WebGL2和GLSL在浏览器跑GGUF Q4模型,却陷入tokenizer调试地狱。本文分析浏览器端LLM推理的工程难点,以及为何直接clone llama.cpp是更理性的选择。