Firedrill
一个用于安全测试AI Agent的开源框架，通过生成有状态合成工具（synthetic tools）替代真实服务，支持故障注入、权限变更和调用审计，可集成到CI/CD流程中
时间轴 (近 90 天)
Firedrill是一个用于安全测试AI Agent的开源框架，通过生成工具的合成版本让Agent在受控环境中运行
Firedrill的合成工具具有有状态（stateful）设计，会在多次调用之间保持状态，Agent创建或修改的内容在下一次读取时依然存在
Firedrill提供故障注入（fault injection）能力，可主动制造错误以观察Agent在异常情况下的应对
Firedrill支持动态调整工具权限，以检验Agent在权限受限时的表现
Firedrill提供调用审计能力，可检查Agent调用了哪些工具、调用顺序及改动了哪些数据
Firedrill已提供30多个工具包，涵盖Gmail、Stripe、HubSpot等常用服务
Firedrill的测试可以直接跑在PR/CI检查中，将Agent行为验证纳入持续集成流程
Firedrill的每个工具包都会记录自己实现了对应服务的哪一部分功能
Firedrill项目完全开源，作者欢迎社区贡献并期待反馈
Firedrill测试结束后数据可以随时重置，Agent运行时不会触碰任何生产数据
还有 1 条时间轴事件
全部知识事实 (11)
Firedrill是一个用于安全测试AI Agent的开源框架，通过生成工具的合成版本让Agent在受控环境中运行
50%待验证Firedrill的合成工具具有有状态（stateful）设计，会在多次调用之间保持状态，Agent创建或修改的内容在下一次读取时依然存在
50%待验证Firedrill提供故障注入（fault injection）能力，可主动制造错误以观察Agent在异常情况下的应对
50%待验证Firedrill支持动态调整工具权限，以检验Agent在权限受限时的表现
50%待验证Firedrill提供调用审计能力，可检查Agent调用了哪些工具、调用顺序及改动了哪些数据
50%待验证Firedrill已提供30多个工具包，涵盖Gmail、Stripe、HubSpot等常用服务
50%待验证Firedrill的测试可以直接跑在PR/CI检查中，将Agent行为验证纳入持续集成流程
50%待验证Firedrill的每个工具包都会记录自己实现了对应服务的哪一部分功能
50%待验证Firedrill项目完全开源，作者欢迎社区贡献并期待反馈
50%待验证Firedrill测试结束后数据可以随时重置，Agent运行时不会触碰任何生产数据
50%待验证本文信息来自作者的单一来源介绍，实际稳定性、工具覆盖完整度及合成工具与真实服务的行为一致性仍需验证
50%