Anthropic工程师谈AI智能体可信度与可观测性

当Claude在几秒内回答复杂问题，用户往往只看到流畅的输出，却看不到背后数据是否准确、结构是否合理、隐私是否安全。在Anthropic，有一位工程师的日常工作正是为这些问题寻找答案。

据IEEE Spectrum报道，Gurmeet Saran是Anthropic的技术人员，也是IEEE高级会员。他正在开发一套基础设施，用于理解聊天机器人行为背后的机制，并确保其底层架构产生可靠的输出。用他的话说：“我的工作是确保数据准确、结构化、可信，并让私有数据保持私有。隐私不能是事后加装的一层，它必须从一开始就是架构的一部分。”

从雅虎到Meta：数据质量问题的二十年

Saran对计算系统的兴趣始于加尔各答的童年。1999年高中毕业后，他在印度完成学业：2004年获卡利亚尼大学电子与通信工程学士学位，2010年获比尔拉科技学院软件工程硕士学位。

2007年，还在读研的Saran加入雅虎班加罗尔数据团队任技术主管。他遇到一个影响职业生涯走向的问题：不同团队用略有差异的逻辑计算同一个网站指标——比如日活跃用户数——结果互相矛盾。领导层做资源分配和产品决策时，不知道哪个数字正确，就成了大问题。

Saran的团队构建了一个中央数据仓库，为指标定义统一口径，相当于“单一事实来源”。他创建的模型明确定义了“日活跃站点用户”的含义：哪些事件计入、边缘情况如何处理。此后，全公司的数据团队可以依赖标准方法得出可比较的结果。他们在此基础上还开发了Yahoo! Digits内部网页分析工具，用于公司所有产品。

2010年，Saran离开雅虎加入Intuit任高级工程师，帮助构建统一TurboTax和QuickBooks等产品数据的分析基础设施。期间Intuit开发了实时检测欺诈性税务申报的功能，这要求团队在遵守美国国税局严格政策的前提下保护纳税人数据。“这让我明白，隐私和治理不能是事后加装到软件上的层，它们必须从一开始就是架构的一部分。”

2016年，Saran加入Meta（当时还叫Facebook）任首席软件工程师。当时公司正因视频指标陷入争议：Meta公开承认一个错误导致其夸大了发布视频的观看次数。Saran认为：“这不是编码bug，而是架构问题。”他构建的系统与在Intuit时类似，为全站视频观看指标定义单一事实来源。这个系统就是Metric360，最终成为网站架构的一部分。到2021年他离开Meta时，Metric360已在全公司用于计算视频指标。之后他加入Wealthfront任首席软件工程师，帮助构建该公司的数据基础设施。

什么是单一事实来源（Single Source of Truth）

单一事实来源（SSOT）指在一个组织内，对某项关键数据只保留一个权威定义和一份权威数据副本，所有下游系统都从它读取，而非各自维护、各自计算。它解决的核心问题是"同一指标、多种口径"导致的决策混乱——正如Saran在雅虎遇到的日活跃用户数互相矛盾。SSOT通常包含三层：语义层（明确定义指标含义、纳入哪些事件、如何处理边界情况）、计算层（统一的ETL或指标管道）和访问层（统一的查询接口）。Meta的Metric360就是视频指标领域的SSOT。在AI时代，SSOT的意义进一步延伸：RAG知识库、评测基准、训练数据标注都需要统一口径，否则模型学到的事实本身就是冲突的。

在Anthropic构建可信AI系统

Saran于2025年加入Anthropic，成为技术团队成员。他用医学类比说明工作意义：“想象一位医生监测病人生命体征并据此做治疗决策。如果其中一台或几台医疗设备校准略有偏差呢？即使大多数读数没问题，这也是严重问题，因为困难决策恰恰发生在边缘地带。AI系统同理。我的工作本质上是确保仪器给出准确读数——数据所表达的就是它真正要表达的意思。”

AI智能体的观测难度尤其高。Saran指出：“当系统执行一系列动作时，你需要一种方式捕捉它做了什么、基于什么信息工作、结果是否符合最终用户预期。而且必须在暴露任何人隐私信息的前提下完成这些——系统被设计为识别敏感数据并在其流动过程中保持保护。这比我以前处理过的任何可观测性问题都更苛刻。”

在AI采用仍处早期阶段解决系统可靠性问题，既是Saran的热情所在，也是让他夜不能寐的难题。“我认为让AI系统真正可审计、透明，是未来十年更重要的工程问题之一，”他说，“但它得到的讨论远不如模型能力那么多。”

什么是AI可观测性（Observability）

可观测性源自控制论，指仅通过系统的外部输出就能推断其内部状态的能力。在传统软件中，它通常由日志（Logging）、指标（Metrics）和链路追踪（Tracing）三大支柱构成。但AI系统的可观测性要复杂得多：大语言模型是概率性的，同样的输入可能产生不同输出，其内部数十亿参数无法逐条审计，且推理过程往往是一个"黑箱"。因此AI可观测性不仅要记录输入输出，还要捕捉工具调用、检索来源、思维链（Chain-of-Thought）、Token消耗与延迟等中间环节，从而回答"模型为什么给出这个答案"。Saran强调的"动作序列和决策依据"，正是把可观测性从传统运维层面提升到可信与合规层面——只有能观测，才能审计；只有能审计，才能被信任。

IEEE在塑造AI发展中的角色

Saran于2025年3月加入IEEE。“在雅虎、Intuit、Meta和Wealthfront等组织构建数据基础设施20多年后，”他说，“我想通过同行评审、发表论文和参与更广泛的工程研究生态来回馈技术社区。”

他认为IEEE可以通过标准工作在未来AI塑造中发挥关键作用。“从建筑规范到软件测试，我们什么都有标准。AI基础设施需要类似的东西，而IEEE有信誉和影响力做到这一点。”

另一个IEEE能解决的问题是接入：“IEEE在很多国家开展业务，那里的工程师不容易进入全球专业社区。这种连接很重要，尤其当AI发展扩展到少数城市的少数组织之外时。”

对于关注AI智能体落地的人来说，Saran的工作揭示了一个容易被忽视的事实：模型能力只是故事的一半，数据可信度和系统可观测性才是智能体能否被真正信任的另一半。当行业竞相追逐更强模型时，如何让AI系统可审计、可解释、隐私内建，可能是更值得投入的工程方向。

IEEE在AI标准化中的实际作用

IEEE（电气电子工程师学会）是全球最大的专业技术组织，其标准协会IEEE SA已发布超过1200项现行标准。在AI领域，它推动了一系列具体工作，例如IEEE 7000系列聚焦"伦理对齐的系统设计"，IEEE 7001涉及自主系统的透明度，IEEE 7010关注AI对福祉的影响评估。这些标准虽不像ISO那样具有强制认证效力，但常被企业作为合规参考和最佳实践依据。对AI基础设施而言，标准化的价值在于把"可信"从口号转化为可测试的工程指标——比如隐私保护等级、可审计日志格式、模型卡（Model Card）披露规范。Saran所说的"AI基础设施需要类似建筑规范的标准化"，正是指这种把抽象原则落地为可验证要求的过程。