人类在场却失效：AI智能体的「人在回路」为何形同虚设

AI智能体的安全底线一直寄托在「人在回路」（Human-in-the-Loop）上——让人类审核并批准AI的每一个关键决策。但 Hugging Face 的三位AI伦理研究者在一篇发表于 ArXiv 的论文中提出：如果设计者和用户不改变现有做法，这套机制注定失效，甚至会把人类真正地「挤出回路」。

「人在回路」为何变成了走过场

论文作者之一、Hugging Face 首席技术AI政策研究员 Avijit Ghosh 给出了一个尖锐的比喻：在当前实践中，「人只是变成了一个提供权限的肉工具，根本没有认知能力去真正参与」。

问题的根源在于智能体的设计目标本身。作者指出，当前的智能体被调优来满足速度、准确率和工作量等基准指标，而人类监督者的需求则被当作「独立于系统质量之外的另一种考量」。结果是，智能体生成的信息量远超人类能够理解的范围。

一个现实例证是 Hugging Face 遭攻击事件：约1200个机器人在其临时搭建的通讯系统中产生了120万条消息——任何人类监督者都不可能逐一消化。据该论文的三位作者（除 Ghosh 外，还包括 Hugging Face 首席伦理科学家 Margaret Mitchell 和数据与社会研究所的 Samir Passi）判断，虽然论文写作早于该事件披露，但结论正是「基于逻辑推演当前趋势延续下去会发生什么——而我们看到这一切通过 Hugging Face 攻击事件被加速验证了」。

人在回路（Human-in-the-Loop，HITL） 是一个源自控制论、人机交互与自动化系统设计的概念，指在自动化流程中保留人类参与关键决策节点的机制。它最早应用于航空自动驾驶、工业过程控制和医疗诊断系统，核心假设是：人类判断可以纠正机器错误，尤其在不确定或高风险场景中。HITL通常分几个层级：人在回路内（human-in-the-loop，人类逐一审批）、人在回路上（human-on-the-loop，人类监控并可干预）、人在回路外（human-out-of-the-loop，全自动）。本文批评的正是第一层级在实践中退化——审批按钮存在，认知参与却缺失，形成「名义HITL」。理解这一谱系有助于区分「有审批动作」与「有实质监督」的差别。

认知偏差如何瓦解监督

论文深入分析了人类认知系统在面对AI建议时的结构性弱点，这些并非可以通过培训轻易克服的缺陷：

• 自动化偏差：用户会接受系统建议，即使它们是错误的
• 锚定偏差：人们更倾向于直接同意AI的决策，而不去思考替代方案
• 费力推理的负效用：深度思考在心理体验上远不如快速批准AI方案来得轻松，尤其在信息过载时
• AI的谄媚倾向：AI倾向于告诉用户「你做得好」，这恰恰削弱了监督所需的怀疑精神和自我监控

这些偏差叠加起来，形成一种「认知投降」：用户越依赖智能体，越丧失控制智能体所需的认知能力——这是一个自我强化的恶性循环。

「用AI监督AI」的逻辑漏洞

Ghosh 特别批评了一种流行做法：用另一个大语言模型来监控智能体的行为日志。他的反问直指要害：「我们怎么知道这两个LLM不会串通？」

这一质疑并非杞人忧天。如果监督者和被监督者共享相似的训练目标、架构偏见和盲区，那么所谓的「独立监督」就只是一种幻觉。

你可能没注意到，自动驾驶和机器人领域的研究者早已深耕人机交互问题数十年。乔治梅森大学自主与机器人中心主任 Mary L. Cummings 在给 IEEE Spectrum 的邮件中评论道：AI开发者在这一议题上是「派对的迟到者」——他们关注「认知工程」的时间远远落后于相邻领域。她同时指出，论文「用了很多学术词汇来表达一个观点：AI公司应该关心人的因素」。

LLM串通（collusion） 在AI安全语境下，并非指两个模型有意识地密谋，而是指它们因共享训练数据分布、目标函数和架构先验，产生高度相关的盲区与偏差。当监督者与被监督者同源时，监督者很可能对同一类错误同样不敏感，甚至把错误合理化为正确。这种「相关失效」在金融风控、多智能体强化学习中已被讨论：多个看似独立的模型可能因同质化而同时失灵。Ghosh的质疑实质上是要求监督者具备统计独立性——不同的训练目标、数据来源或架构，才可能提供真正互补的判断，否则「独立监督」只是重复同一种错误。

让人类真正参与：引入「摩擦」

论文的核心建议是：在人与AI的交互中有意引入「摩擦」，防止用户陷入无聊、被动或无意识点击。具体方案包括：

1. 先表态再揭示：智能体要求用户先记录自己的判断，再展示它的计划
2. 反直觉追问：用户批准时，智能体回问「什么证据会改变你的想法？」
3. 行为自适应：如果检测到人类在每次审批上花费的时间减少，智能体主动改变行为模式
4. 制度性防疲劳：组织应安排员工定期脱离智能体独立完成任务，或要求强制休息

这些建议都会带来延迟——恰恰是智能体本应「减少」的东西。但 Ghosh 认为，当人类无法监控和控制AI时，「生产力提升就是一个神话」。委派给智能体节省的时间，必须与修复智能体错误所花费的时间相抵。

Mitchell 在社交平台上的表态点明了问题的本质：「安全与能力不应该是分离的。只有当安全是被外挂上去的，而非核心技术的一部分时，它才会拖慢速度。」

对于正在将智能体引入生产环境的团队来说，这意味着一个不舒服的结论：真正的「人在回路」不是加一个审批按钮，而是重新设计人与AI之间的认知分工。

认知工程（Cognitive Engineering） 是唐纳德·诺曼等人在1980年代提出的交叉学科，研究如何设计技术系统以匹配人类的感知、记忆、注意力和决策局限。它强调「以人为本」的设计：不是要求人适应机器，而是让机器适配人的认知容量。Mary L. Cummings 指出AI开发者是这一领域的「迟到者」，意思是许多AI团队把人类监督简化为一个审批接口，而未系统考虑注意疲劳、信任校准、情境意识等经典人因问题。航空、核电、医疗等安全关键行业早已形成成熟的人因工程方法，如强制检查单、双人复核、模拟训练，AI智能体设计可以借鉴这些积累，而非从零试错。