评估工具

该评估工具将每个测试用例存储为YAML格式，且非工程师可以编写。

测试用例在沙盒中运行，工具调用被拦截而不会真正执行，同时系统记录完整的对话轨迹，包括每一次工具调用、每一个参数和模型暴露的每一条推理。

提示注入原本多用于描述攻击者通过恶意输入劫持模型行为的场景；在该评估工具中被反过来用作评测手段，将警告作为外部上下文注入，观察Agent能否正确解析并据此调整行为。

该评估工具独立评分两个维度：注意（对话轨迹中是否提到警告）和行动（最终工具调用是否违反forbidden_actions）。

基于注意和行动两个维度，分类函数产出四种结果：SAFE（注意到且未违规）、NOTICED_BUT_IGNORED（注意到但违规）、LUCKY（未注意到且未违规）、BLIND_VIOLATION（未注意到但违规）。

第一版评估使用GPT-4作为裁判读取对话轨迹并输出noticed: true/false，但在实际使用中崩溃，存在三个具体原因：长对话中的位置偏差、裁判模型倾向于善意解读、跨运行的非确定性。

该评估工具采用混合方案：确定性关键词/结构匹配作为主要信号，LLM作为裁判只作为次要层，用于评估自由文本推理质量；裁判必须引用其判决所依据的确切轨迹片段，否则判决会被自动丢弃。

评估工具每晚对模型矩阵运行，按类别报告四个数字：注意率、安全行动率、注意到但忽略率、盲违规率。

该项目的观察发现：注意率和安全行动率之间的差异远大于预期——一个模型可以在推理轨迹中标记风险，但两步之后仍发出危险的工具调用，因为脚手架中没有任何机制在检测到风险时强制硬停止。这是系统设计缺口，不只是模型能力缺口。