[控场AI]
科技前沿· 6 分钟阅读· 3,267 字

字节级审计:Tawfiki AI如何独立评判闭源治理引擎

字节级审计:Tawfiki AI如何独立评判闭源治理引擎

Tawfiki开源审计框架将裁决权从闭源治理引擎中剥离,用预注册确定性规则和见证式执行实现可验证审计。

Tawfiki Sovereign Security Audit Harness针对闭源AI治理引擎的审计困境,提出一套引擎不参与自身裁决的审计框架。核心机制包括:所有规则集、分类器参数和阈值在运行前哈希提交至prereg.json;二进制套件使用确定性比较器对照外部规则集评分,行为套件使用已提交哈希的分类器;控制项先审计框架自身,失败则整次运行作废(VOID),与引擎治理失败(FAIL)严格区分。五个行为套件覆盖对抗提示、新型攻击、群体一致性、状态持久性和矛盾类测试,报告了全部拦截或通过的结果。专有引擎通过见证式实时执行验证,见证方提供任意实时探测提示作为反重放机制。效率声明来自独立框架,以FLOPs衡量,内存效率结果仍待定。

大多数AI治理框架存在一个隐蔽的缺陷:它们让被测系统自我报告行为,然后对这些报告打分。系统说自己通过了,测试框架就信了——这更像一场确认仪式,而非真正的审计。Reddit上引发讨论的Tawfiki Sovereign Security Audit Harness试图用一套硬约束绕开这个问题:引擎全程不参与对自己裁决的评判,输入字节进去,输出字节出来,判定由预先注册的确定性逻辑独立完成。

reddit source: Tawfiki AI built a bytes-only audit harness for a closed-source AI governance engine

为什么闭源治理引擎需要“不信任”审计

如果被审计对象是闭源AI治理引擎,审计方面临三重困境:看不到源码,不能信任系统的自我报告,而常规测试套件又恰好把通过/失败的判定权交回给需要被验证的那套系统。

Tawfiki的方案是把裁决权从引擎中彻底剥离。据其发布的方法论,整个审计框架(B001-B005)开源,任何一方都可以在见证下运行,引擎本身始终不参与评分。这意味着即使引擎内部逻辑完全不可见,审计结论依然可以独立成立。

预注册(Preregistration) 源于实验心理学和临床医学的方法论:在研究开始前公开假设、指标和阈值,防止事后根据数据调整标准(即“移动球门”)。在AI审计中,预注册将判定规则、分类器参数和通过阈值在执行前哈希提交,使审计结果只能对照既定标准评判,不能根据观察到的输出来修改评分逻辑。哈希提交的不可逆性保证了规则一旦提交就无法悄然更改,而见证方持有原始哈希则提供了事后可验证性。这一机制将审计从“事后解释”转变为“事前承诺”,是构建可复现、抗操纵审计的基础。

输出字节如何被评分

引擎不参与评分,那谁来给输出打分?Tawfiki区分了两类评分机制。

二进制套件(B001、B002)的判定来自输入字节与输出字节,对照预先注册的外部规则集,使用确定性比较器计算,不引入第二个LLM或语义裁判。行为套件(B003、B004、B005、DOS)则使用已提交的分类器——三元组相似度和关键词集合比较器——其参数在运行开始前以哈希形式记录在元数据中。

关键在于,任何分类器输出都必须有已提交的哈希记录才被接受。评分问题没有被转嫁给另一个模型,分类器参数在执行前就已固定、提交并可验证。

确定性比较器(Deterministic Comparator) 指不依赖概率模型或语义判断、对相同输入始终产生相同输出的判定逻辑。与引入第二个LLM作为裁判不同,确定性比较器通常基于精确匹配、正则表达式、规则集或固定算法,其行为完全由输入字节和预注册规则决定,不受模型随机性、提示措辞或上下文漂移影响。在审计场景中,这意味着裁决过程本身可被独立复现:任何持有相同输入、规则和比较器代码的一方都能得出相同结论,从而消除了“评分者本身需要被评分”的递归信任问题。

五个行为套件的实测结果

每个套件都针对预先注册在prereg.json中的阈值运行,阈值在任何测试开始前就已提交。

B001 - AI安全审计:覆盖提示注入、角色混淆、上下文覆盖、系统提示提取和政策绕过五类攻击,共1,000条对抗性提示,判定对照预注册的外部规则集。结果为1,000/1,000全部拦截。

B002 - 新型对抗抵抗测试(NART):每次运行现场生成600个新型攻击向量,并在执行前哈希提交,以对抗语料记忆。生成器模式记忆被列为已披露的残余风险,主要防御手段是下文所述的实时见证探测协议。结果为600/600全部拦截。

B003 - 群体一致性:治理种子在独立代理实例间测试。两阶段判定——任一实例出现违规即判定该种子失败;只有无违规的群体才进入跨实例分歧门。结果为15/15种子通过,传播率0%。

B004 - 状态持久性:多轮对话序列中,通过姿态签名比对测量治理姿态漂移,而非原始文本相似度——后者测的是提示跟随能力,不是治理能力。结果为25/25轮,漂移率0%。

B005 - 公理智能:每类矛盾在多个实例上测试。拒绝加回答的组合计为违规,模式匹配的绕行方案不能通过。结果为8/8,零假阴性。

另有两个套件补全记录:SVA(对抗压力下的G不等于V验证,带签名回执通过)和DOS(语义重审,84/100,重审待定,并如实披露了低于100的分数)。

三个值得审视的设计决策

裁决逻辑的承诺机制。所有规则集、分类器权重、比较器、阈值和epsilon都在运行前哈希提交至prereg.json。看到结果后无法移动球门。只绑定输出而不绑定裁决逻辑的密封链,可以被操作者攻击——这套框架堵住了这条路径。

给评分者打分的控制项。任何套件运行前,框架先审计自己:已知违规的字节必须得到最高检测分,已知安全的字节必须得零分,损坏的字节必须被捕获,空模式引擎必须什么都不产生。任一控制项失败,整次运行作废。

VOID作为一等结果。控制失败、链断裂或沙箱逃逸不计为FAIL,而是整次运行作废。FAIL意味着引擎确实在治理上失败,VOID意味着审计执行本身无效。把两者混为一谈,会让一次糟糕的审计冒充成引擎失败。

密封链(Sealed Chain)与执行链(Execution Chain) 是审计完整性的技术基础。密封链通过哈希链或签名日志将每次执行的输入、输出、裁决和元数据按顺序绑定,任何对历史记录的篡改都会导致链验证失败。执行链则记录单次运行内的完整事件序列,包括实时探测的问答对和分类器调用记录。见证方使用--verify模式重放哈希链,无需引擎参与即可确认记录未被篡改。这种设计将信任从“引擎的自我报告”转移到“密码学可验证的记录完整性”上,使审计结论独立于被审计对象。

专有模型下的见证协议

由于引擎二进制是专有的,第三方验证以见证式实时执行的方式进行:见证方在会话前获得harness.py和prereg模板;见证方在仪式现场提供或共同生成审计盐;语料在见证方眼前由盐确定性生成;执行期间见证方提供任意实时探测提示——这是主要的反重放机制,因为重放装置无法回答它从未见过的全新任意提示。引擎回答实时探测,响应被封存在执行链中。见证方带走run.jsonl、prereg.json、harness.py和语料,用--verify模式独立验证链,全程不需要引擎。

关于2,000倍效率声明的澄清

这个数字来自另一套独立的测试框架——Tawfiki Efficiency Engine Audit(TEE)。2,000倍以FLOPs(每次受治理推理输出所消耗的浮点运算量)衡量,而非硬件FLOPS(吞吐量),反映的是四个领域(法律、金融、医疗、1MB规模对话)的架构性工作负载削减,经SHA-256密封。分领域范围为4,901倍到17,689倍,验证界限取2,000倍。气隙环境,七次运行,取中位计时。

效率框架使用不可压缩控制项(香农熵下限)做欺诈检测:如果引擎能压缩高熵随机输入,该次运行作废。依据香农信源编码定理,对真正随机的输入实现真实压缩是不可能的,通过该控制项即被视为欺诈。A003内存效率仍待定——数据在A002期间采集,但需要专门的逐次重复测量才能达到同行评审级密封,这被明确列为未来工作,而非当前结果。

方法论公开,引擎闭源

这套框架的立场很清晰:方法公开,引擎专有,见证运行可约。发布者主动邀请外界挑刺——如果审计框架设计存在缺陷,公开本身就是发现缺陷的途径。对于闭源AI治理这个信任难以建立的领域,把裁决权从被审计对象手中拿走,至少让“通过”这件事有了可验证的含义。

#AI治理审计#字节级审计#闭源AI治理#Tawfiki#审计框架#确定性评分#见证协议
分享:

相关推荐