当"莫名其妙的失败"成为常态：AI时代的系统信任危机

一个正在被我们默默接受的现象

软件系统偶尔出错，本是老生常谈。但一个更值得警惕的趋势正在浮现：越来越多用户和开发者开始把"莫名其妙、无法解释的失败"（Inexplicable Failures）当作理所当然的日常，甚至懒得去追究原因。这种"失败的常态化"现象，正随着复杂系统尤其是AI驱动系统的普及而加速蔓延。

这篇引发 Hacker News 讨论的短文抛出了一个尖锐命题：我们是否正在丧失对"系统应当可解释、可调试"这一基本预期的坚持？当一个操作失败时，我们过去会追问"为什么"，如今却越来越倾向于"再试一次"或者干脆放弃。

为什么失败变得难以解释

系统复杂度的指数级增长

现代软件栈的层级之深前所未有。一次简单的网页请求可能穿越 CDN、负载均衡、微服务网格、多层缓存、第三方 API 和数据库集群。任何一环出问题都可能导致最终失败，而错误信息往往在层层传递中被吞噬或抽象掉，最终呈现给用户的只是一个含糊的"出错了，请稍后重试"。

这种复杂度让根因分析（root cause analysis）的成本急剧上升。对许多团队来说，与其花数小时定位一个偶发故障，不如寄希望于它"自己好了"。

AI 系统的不可解释性放大了问题

大模型和机器学习系统天然带有黑盒属性。当一个 LLM 给出错误答案、拒绝合理请求，或在相同输入下产生不同结果时，即便是构建它的工程师也常常无法给出确切解释。这与传统软件"逻辑确定、可追溯"的特性形成鲜明对比。

随着 AI 组件被嵌入越来越多的产品，"我们也不知道它为什么这样"逐渐成为一种可被接受的答复。这在过去的工程文化中几乎是不可想象的。

可解释性研究（Explainable AI，XAI）是近年试图弥合这一鸿沟的学术与工程方向，其目标是让模型的决策过程能够被人类理解。常见手段包括注意力权重可视化、LIME/SHAP 等局部特征归因方法，以及思维链（Chain-of-Thought）提示技术。然而这些工具本身存在局限：注意力权重并不等于因果解释，SHAP 值在高维场景下计算成本高昂，思维链输出的推理过程与模型内部计算也未必一一对应。更根本的挑战在于，现代大模型的参数量达数千亿，其"推理"分散在数以亿计的激活值交互之中，这与传统软件"每一行代码都有明确语义"的范式存在结构性差异。这意味着即便借助 XAI 工具，工程师能够触达的可解释性也是局部的、近似的，而非确定性的根因定位。

常态化的真正代价

把不可解释的失败当作常态，短期看是一种务实的妥协，长期看却在侵蚀几个关键基础：

调试能力的退化：当团队习惯于"重启解决一切"，深入排查的技能和文化会逐渐荒废。
信任的隐性流失：用户对系统的信任建立在可预测性之上。反复遭遇无法解释的失败，会让人从"信任但偶尔容忍"滑向"根本不指望它可靠"。
安全与合规风险：在金融、医疗等高风险场景，一个"说不清为什么"的失败可能意味着监管噩梦，甚至危及生命。

更深层的问题在于，一旦"不可解释"被文化性地接受，改进的动力就消失了——你无法修复一个你拒绝去理解的问题。

工程师该如何抵抗这种趋势

对抗失败常态化，需要在工程文化和技术实践两端同时发力：

重建可观测性优先的意识。完善的日志、分布式追踪和结构化错误信息，是让失败重新变得"可解释"的技术底座。每一个被吞掉的异常都是未来某次通宵排查的伏笔。

为 AI 系统建立评估与归因机制。即便无法完全解释模型行为，也应通过评测集、可解释性工具和输出监控，尽可能缩小"黑盒"的范围，而不是彻底放弃理解。

在团队内保留"追问为什么"的仪式感。对每一次生产故障坚持做事后复盘（postmortem），哪怕结论是"暂时无法定位"，也比默认忽略要健康得多。

结语

这篇短文虽然篇幅不长，却触及了一个正在悄然发生的行业转向。当系统越来越复杂、AI 越来越普及，"可解释性"不应被当作可有可无的奢侈品。工程界真正需要警惕的，不是失败本身，而是我们对失败逐渐麻木、不再追问的态度。保持对"为什么"的执着，或许是复杂时代里最珍贵的工程品德。

背景补充

可观测性（Observability）在现代分布式系统中通常由"三大支柱"构成：日志（Logs）、指标（Metrics）和分布式追踪（Distributed Tracing）。日志记录离散事件，指标反映系统状态随时间的变化趋势，而分布式追踪则将一次请求在多个微服务间的完整调用链串联起来，是定位跨服务故障的关键手段。OpenTelemetry 是目前业界主流的开源可观测性标准，致力于统一这三类信号的采集与传输格式。结构化日志（如 JSON 格式而非自由文本）相比传统日志更易被机器解析和检索，能显著降低排查成本。对于 AI 系统，可观测性还需要额外维度：输入输出的采样存储、延迟与 token 消耗的监控，以及模型版本与提示词变更的记录，这些共同构成 AI 系统可追溯性的基础。