[控场AI]
公司

Stonepath IT

安全研究团队,专注于AI Agent边界评估与安全测试,提出了Agent边界评估七大失败类别框架

时间轴 (近 90 天)

10月14日

安全团队 Stonepath IT 在一篇技术分析中将工具描述信任链问题列为 Agent 边界测试七大类发现之一。

待验证50%
10月14日

Stonepath IT 定义了 Agent 边界评估的七类失败方式:工具投毒、工具滥用、身份与权限、记忆与上下文投毒、过度代理权、数据泄露、治理缺口。

待验证50%
10月14日

工具滥用类失败包括函数未经校验即可访问内网、云元数据端点(如 169.254.169.254)或凭证存储,例如 fetch_url 工具可能成为 SSRF 的入口。

待验证50%
10月14日

Stonepath IT 的每一项发现都同时标注 MITRE ATLAS 技术编号、OWASP LLM Top 10 风险分类和 NIST AI RMF 治理控制项。

待验证50%
10月14日

Stonepath IT 的每一项发现都附带一个机器可读的 YAML 回归场景,工程师可以直接在 CI 中运行,从而在 prompt 改变、模型升级或工具描述被编辑时确保修复措施不会悄悄失效。

待验证50%
10月14日

单元测试无法发现边界失败,因为边界失败存在于组件之间的缝隙里,每个组件的作者都假设对方会执行约束;边界测试需要像攻击者一样思考而非像验证者一样思考。

待验证50%

全部知识事实 (6)

来源文章