[控场AI]
概念Human-in-the-Loop / 人机协同 / 人机安全审批

HITL

AI Agent工程中的人机协同安全机制,在执行高风险操作前自动暂停并触发人工审批,常规环节自动执行,遇到高风险动作时交由人类决策,是Agent从实验走向生产的关键设计模式

核心事实

时间轴 (近 90 天)

11月19日

AgentScope 提供三维安全防线:工具审查、人机协同(HITL)和安全沙箱隔离。

待验证50%
11月6日

升级到人工后,代理会传递完整对话摘要,用户不必重复陈述;被拒绝的动作也会被记录,避免AI再次犯同样的错误。

待验证50%
11月6日

当退款超过50美元或订单金额超过500美元时,系统向Slack推送审批卡片,升级到人工(HITL)审批。

待验证50%
10月27日

HITL不能仅仅作为UI层面的确认按钮存在,它需要密码学或硬件层面的保障;AI代理自主性越强,对可信执行环境的需求越迫切。

待验证50%
10月27日

仅依赖应用层的HITL检查,在代理具备工具使用能力时可能形同虚设,代理可以征用人类通信渠道自我授权。

待验证50%
10月27日

论文的贡献在于将HITL从一种模糊的最佳实践提升为具有明确安全属性的协议。

待验证50%
10月27日

在代理能够访问邮箱、支付、代码仓库等敏感资源时,仅依赖同环境内的批准机制不够,将批准权转移到独立可信设备是当前技术条件下更务实的选择。

待验证50%
10月22日

HITL指在自动化流程的关键节点保留人工判断与审批,使系统在获得效率的同时不丧失可控性。

待验证50%
10月22日

付款、删除、外发、部署必须人工审批。

待验证50%
10月22日

自治等级应按离线回放、影子运行、低风险自动执行、高风险HITL受限自治的顺序递进。

待验证50%

还有 21 条时间轴事件

全部知识事实 (20)

已验证

「人在环路(Human-in-the-Loop,HITL)」是一种在AI或自动化系统的决策链条中保留人类审核或干预节点的系统设计范式

90%
已验证

在 LangGraph 中,HITL(人机协同)通过中断点机制实现,Agent 执行到节点时暂停并将状态序列化持久化,等待人工确认后恢复执行

80%
已验证

HITL(Human-In-The-Loop)机制在AI测试开发中必不可少,用于对AI生成内容进行人工评审和修正

80%
已验证

人在回路(HITL)是自动化系统中常见的风险缓解模式,指在关键决策节点引入人类确认。

75%
已验证

自动化偏见(automation bias)指当人类长期处于确认算法结论的角色时,批判性思维会逐渐退化

70%
已验证

HITL(Human-in-the-Loop,人机协同)概念源于自动化控制领域,用于在 Agent 遇到高风险、高不确定性操作时进行人工审核确认

65%
已验证

在Agent编排中,HITL通常通过'断点'实现:流程在指定节点挂起,将控制权交还给人类操作者,待确认后恢复执行

65%
已验证

只有当AI与人类操作同一套运行时逻辑,人机协作才能顺畅,否则计算结果偏差会动摇使用者信任

65%
待验证

PACC数据集采用Human-in-the-Loop(HITL)范式构建,分为四个阶段

95%
待验证

计划模式体现了AI系统设计中人在回路(Human-in-the-Loop,HITL)原则,OpenAI和Anthropic等机构均将HITL视为防止AI系统产生不可逆影响的核心机制

80%
待验证

在 LLM agent 场景中,agent 可能连续调用多个工具(如数据库写入、邮件发送、支付接口),部分操作具有不可逆性或高成本,需要人工确认后才能执行

70%
待验证

人在回路(HITL)要求人类主动批准每一步行动,而人在监管回路(HOTL)允许系统自动执行但保留人类随时叫停的权限

60%
待验证

AgentScope 提供三维安全防线:工具审查、人机协同(HITL)和安全沙箱隔离。

50%
待验证

当退款超过50美元或订单金额超过500美元时,系统向Slack推送审批卡片,升级到人工(HITL)审批。

50%
待验证

升级到人工后,代理会传递完整对话摘要,用户不必重复陈述;被拒绝的动作也会被记录,避免AI再次犯同样的错误。

50%
待验证

HITL不能仅仅作为UI层面的确认按钮存在,它需要密码学或硬件层面的保障;AI代理自主性越强,对可信执行环境的需求越迫切。

50%
待验证

论文的贡献在于将HITL从一种模糊的最佳实践提升为具有明确安全属性的协议。

50%
待验证

在代理能够访问邮箱、支付、代码仓库等敏感资源时,仅依赖同环境内的批准机制不够,将批准权转移到独立可信设备是当前技术条件下更务实的选择。

50%
待验证

仅依赖应用层的HITL检查,在代理具备工具使用能力时可能形同虚设,代理可以征用人类通信渠道自我授权。

50%
待验证

付款、删除、外发、部署必须人工审批。

50%

来源文章