Soei：为多智能体编程构建证据与意图的可观测性

AI 编程智能体已经能长时间、多步骤、跨会话地独立完成软件工作。当开发者回头审视这些工作时，真正有价值的问题不是模型说了什么，而是实际做了什么、由谁做的、是否真的完成。一篇关于 Soei（Structured Observability of Evidence and Intent）的研究以此为出发点，先审计现有开源工具 Agenttrail 的可靠性，再用真实会话数据量化智能体工作的"证据缺口"，最后提出一套以证据为中心的可观测性方案。

现有工具审计：Agenttrail 的三个结构性问题

研究团队对照源码 commit e4ba2da 对 Agenttrail 进行了逐项验证，确认了其文档中描述的九个常量与机制在文件与行级别成立，但同时发现三处关键缺陷：两条事件管道从未统一，导致同一会话的事件分散在不同链路；其 Map 服务存在未经认证的本地变更面，意味着本地进程可以绕过鉴权修改数据。这提醒我们，把智能体日志当作审计依据之前，工具本身的可信度需要先被验证。

真实会话数据揭示的证据缺口

研究在一个包含 45 个真实编程智能体会话的原型上运行：共 102,233 条记录、20,577 次工具执行、2,336 个人类与智能体之间的交互片段。在盲审分类器（精确率分别为 83.3% 和 96.7%）的辅助下，几个数字值得关注：

• 23.4%（95% CI 17.1–35.7）的代码编辑片段在最后一次编辑后没有任何独立检查；
• 智能体在编辑后标记完成的 to-do 中，57.8% 在中间环节缺乏证据支撑；
• 用 10 分钟的时间启发式判断会话交接，只能找回内容血缘所连接的 24 对会话中的 6 对；
• 42% 的会话运行超过 24 小时，48.1% 的转录字节超出 2 MiB 的重放上限；
• 16 个会话中有 1,326 条记录包含疑似凭据的字符串。

这些数字指向同一个结论：智能体自称"完成"，与存在可验证的完成证据，是两件事。长会话与超大转录还让事后审计变得昂贵甚至不可行。

文中的95% CI（置信区间） 指在重复抽样下，真实比例有 95% 的概率落在 17.1%–35.7% 这一区间内。区间之所以较宽，是因为样本仅为 45 个会话，属于小样本原型研究，结论应视为方向性证据而非精确估计。同样，盲审分类器指在不知道研究假设的情况下对片段进行分类的自动或人工标注器，其精确率（83.3% 与 96.7%）决定了上述百分比的可信上限——分类器误判会直接传导为证据缺口的估计偏差。

2 MiB 重放上限指的是许多智能体运行时为控制内存与延迟，对单次会话可回放的转录字节数设定的硬性阈值；超过后完整重放不再可行，只能依赖摘要或抽样。这解释了为何 48.1% 的会话在事后审计时面临信息丢失风险，也构成 Soei 采用去内容化哈希账本而非全量存储的直接动因。

Soei 的设计：把"声称完成"与"证明完成"分开

Soei 包含五个组件：

1. 感知确认的事件模式（acknowledgement-aware event schema），让事件记录带上确认语义；
2. 哈希链式本地账本，在相同语料上体积仅为原始数据的 20%，不保存内容或凭据，验证速度约 126k 事件/秒，可检测篡改并确定性重放；
3. 与 W3C PROV 对齐的图结构，用于表达归因与血缘；
4. 校准后的归因与血缘推断；
5. 验证层，将完成声明与完成证据严格分离。

这种设计的核心思路是把可观测性从"记录模型说了什么"转向"记录可验证的事实链"，同时用哈希链和去内容化设计降低存储与合规风险。

W3C PROV 是万维网联盟（W3C）于 2013 年发布的溯源（Provenance）数据模型标准，用于以标准化方式描述「实体（Entity）、活动（Activity）、代理（Agent）」三类核心对象及其关系（如 wasGeneratedBy、used、wasAttributedTo）。它为跨系统交换血缘与归因信息提供了通用词汇表，使不同工具产生的溯源记录可以互操作。Soei 将自身图结构与 PROV 对齐，意味着其记录的归因与血缘能够被外部审计工具按标准解析，而不是锁死在私有格式里。

哈希链（Hash Chain） 是一种将每条记录的哈希值与前一条记录的哈希值串联的数据结构：任何对历史记录的篡改都会导致后续所有哈希失配，从而被检测出来。它不同于区块链，不需要分布式共识，仅在本地维护即可提供防篡改的审计轨迹。Soei 账本在哈希链基础上做了去内容化处理——只存哈希与元数据而不存原始内容或凭据，因此体积可压缩至原始数据的 20%，同时满足合规要求。

定位与开放问题

研究将工作与同期的 2026 年提案并列讨论，并基于自有数据定义了带证据门控的自主性等级与 harness 指标。值得注意的开放性问题是：如何在不过度增加智能体运行时开销的前提下，让证据采集成为默认行为，而不是事后补救。对构建多智能体编程系统的团队而言，这套思路提供了一个可操作的审计基准。