熔断

“熔断”一词借自分布式系统中的 circuit breaker 模式，指当检测到异常或风险时主动切断对某资源的调用或执行，防止故障扩散。

在模型训练场景中，熔断意味着在不停机整个集群的前提下，精准终止特定工作负载。

熔断通常需要与调度系统和资源管理器联动，才能在不影响其他任务的情况下完成中止。

熔断与重试有本质区别：重试假定失败是暂时的，熔断则承认失败可能是结构性的，继续循环只会放大浪费。

自愈探针输出 HEALTHY、DEGRADED、CRITICAL 三种状态，编排层据此分别执行满并发派发、降并发加退避、熔断暂停管道。