熔断器
一种软件设计模式,用于检测服务调用失败并在错误率超过阈值时自动断开连接、快速失败,防止级联故障并保护系统稳定性
核心事实
时间轴 (近 90 天)
配置备用模型、指数退避重试、订阅官方状态页、熔断与降级是应对单一模型依赖风险的缓解手段。
Loop工程借用熔断器机制,用“最大重试次数”作为阈值,一旦生成者AI在限定轮次内无法通过评估者测试,系统将当前状态存档、标记为需人工介入。
Loop工程系统配合最大重试次数作为熔断器:修不好就存档、喊人,防止死循环空转。
熔断器是经典分布式模式,但在早期Agent框架中很少实现。
微服务中的熔断器适用于Agent:当某Agent或下游服务连续失败时打开熔断,阻止后续重试继续浪费资源并加剧拥塞。
生产就绪清单包括四项硬性要求:外部调用必须有熔断器(最多重试2次,然后停止并告警);智能体间传递结构化数据;不可逆操作后必须有验证步骤;每次调用都要有完整的可查询执行日志。
作者用一张Postgres表实现熔断器,记录workflow_id、step_id、fail_count、last_fail、cleared_by和cleared_at;连续两次失败即停止该步骤并发送ntfy告警,直到人工确认后重置。该机制建成后已触发四次,捕获了限流、畸形URL、门户处理延迟和网络超时等问题。
在 LLM 修复循环中,推荐的熔断器典型参数是:连续 5 次失败触发断开,冷却 30-60 秒,半开阶段限流探测。
熔断器模式源自分布式系统容错设计,由 Michael Nygard 在《Release It!》中系统化描述,通过监控连续失败次数来断开对下游的调用。
熔断器(circuit breaker)源自分布式系统领域,其逻辑是当依赖连续失败达到阈值时暂时切断调用,典型状态机包含闭合、打开、半开三种状态
还有 16 条时间轴事件
全部知识事实 (20)
熔断机制是借鉴自分布式系统工程的容错模式,当依赖服务连续失败超过阈值时自动切断调用链路以避免级联故障与资源耗尽
65%已验证熔断器模式源自微服务架构的容错设计理念,当失败率超过阈值时自动中断并回退
65%部分验证熔断器模式源自分布式系统容错设计,由 Michael Nygard 在《Release It!》中系统化描述,通过监控连续失败次数来断开对下游的调用。
65%待验证配置备用模型、指数退避重试、订阅官方状态页、熔断与降级是应对单一模型依赖风险的缓解手段。
50%待验证Loop工程借用熔断器机制,用“最大重试次数”作为阈值,一旦生成者AI在限定轮次内无法通过评估者测试,系统将当前状态存档、标记为需人工介入。
50%待验证Loop工程系统配合最大重试次数作为熔断器:修不好就存档、喊人,防止死循环空转。
50%待验证熔断器是经典分布式模式,但在早期Agent框架中很少实现。
50%待验证微服务中的熔断器适用于Agent:当某Agent或下游服务连续失败时打开熔断,阻止后续重试继续浪费资源并加剧拥塞。
50%待验证作者用一张Postgres表实现熔断器,记录workflow_id、step_id、fail_count、last_fail、cleared_by和cleared_at;连续两次失败即停止该步骤并发送ntfy告警,直到人工确认后重置。该机制建成后已触发四次,捕获了限流、畸形URL、门户处理延迟和网络超时等问题。
50%待验证生产就绪清单包括四项硬性要求:外部调用必须有熔断器(最多重试2次,然后停止并告警);智能体间传递结构化数据;不可逆操作后必须有验证步骤;每次调用都要有完整的可查询执行日志。
50%待验证在 LLM 修复循环中,推荐的熔断器典型参数是:连续 5 次失败触发断开,冷却 30-60 秒,半开阶段限流探测。
50%待验证在LLM管道上使用熔断器时,当模型短时间内验证失败率飙升说明存在系统性问题,继续调用只会持续产生废品并浪费token成本
50%待验证熔断器(circuit breaker)源自分布式系统领域,其逻辑是当依赖连续失败达到阈值时暂时切断调用,典型状态机包含闭合、打开、半开三种状态
50%待验证熔断器与重试是互补关系:重试应对偶发失败,熔断器应对系统性故障
50%待验证作者主张把LLM当作有噪声的机器来管理,遵循四步流程:画图纸(定义数据结构契约)、逐件检验(schema validation)、带缺陷说明返工(修复循环)、机器坏了就关掉(熔断器)
50%待验证熔断器的结构由三部分组成:一个仅追加的账本、一个调用前的闸门、一个调用后的结算。
50%待验证失败的模型调用尝试通常仍会消耗输入 Token,所以即使请求报错也要记账,否则账面支出会低于实际账单,熔断器会在错误的时间点才关闭。
50%待验证紧急制动机制类似分布式系统中的熔断器与可中断执行模式,实现上需要让代理运行时定期检查中止标志,并支持工具调用前后的钩子来阻塞高风险动作。
50%待验证应为每个工作流设定智能体间往返的最大次数、最大总时长、最大成本,超限后强制上报给人类
50%待验证推荐的智能体护栏模式包括:默认拒绝的出站白名单、拒绝攻击性payload、当智能体在同一主机被重复拒绝时通过抛出异常触发熔断器终止会话
50%