Statewave Guide
一个针对 AI 代码理解与智能体验证的开源项目,通过构建应用图谱和 Feature Scope 机制,解决 AI 断言技术正确但功能无关的验证盲区
时间轴 (近 90 天)
Statewave Guide 团队使用 anthropic-opus-5 模型在其自研应用上进行数百次测试,结果显示零条虚构路由抵达产品模型、零条虚构权限、零个未知主题被错误引入。
在验证测试中,模型对禁止能力请求的 27 次全部拒绝,对无依据操作请求的 23 次全部回绝。
模型有 89% 的概率能找到正确证据,但只有 20% 的概率将其转化为可验证的产品断言;71% 的功能最终没有任何经过验证的能力描述,工作流恢复率仅为 18%。
引入 Feature Scope 后,经过验证的断言产出率从约 20% 提升到 95%,错误功能断言降至 0,模型克制达到 30/30。
即使断言产出率提升到 95%,63 个功能中仍有 45 个最终没有经过验证的能力描述。
Feature Scope 是 Statewave Guide 团队为修复验证盲区引入的中间层:图谱先确定当前分析的功能及其对应节点与边,再仅从该子图内生成候选断言。
Statewave Guide 的设计流程从“模型→编造断言→验证器”改为“图谱→确定性断言机会→模型添加含义→验证器”,将模型角色从事实生产者降级为表述者。
Statewave Guide 建立在 Statewave 之上,Statewave 是一个开源、自托管的 AI 智能体记忆运行时,强调治理与溯源,采用 Apache 2.0 许可。
验证器仅回答“这个陈述是否有真实证据支撑”,而不回答“证据是否属于当前功能”,这导致了技术正确但完全无关的答案。
全部知识事实 (9)
Statewave Guide 团队使用 anthropic-opus-5 模型在其自研应用上进行数百次测试,结果显示零条虚构路由抵达产品模型、零条虚构权限、零个未知主题被错误引入。
50%待验证在验证测试中,模型对禁止能力请求的 27 次全部拒绝,对无依据操作请求的 23 次全部回绝。
50%待验证模型有 89% 的概率能找到正确证据,但只有 20% 的概率将其转化为可验证的产品断言;71% 的功能最终没有任何经过验证的能力描述,工作流恢复率仅为 18%。
50%待验证引入 Feature Scope 后,经过验证的断言产出率从约 20% 提升到 95%,错误功能断言降至 0,模型克制达到 30/30。
50%待验证即使断言产出率提升到 95%,63 个功能中仍有 45 个最终没有经过验证的能力描述。
50%待验证Feature Scope 是 Statewave Guide 团队为修复验证盲区引入的中间层:图谱先确定当前分析的功能及其对应节点与边,再仅从该子图内生成候选断言。
50%待验证Statewave Guide 的设计流程从“模型→编造断言→验证器”改为“图谱→确定性断言机会→模型添加含义→验证器”,将模型角色从事实生产者降级为表述者。
50%待验证Statewave Guide 建立在 Statewave 之上,Statewave 是一个开源、自托管的 AI 智能体记忆运行时,强调治理与溯源,采用 Apache 2.0 许可。
50%待验证验证器仅回答“这个陈述是否有真实证据支撑”,而不回答“证据是否属于当前功能”,这导致了技术正确但完全无关的答案。
50%