产品
gate-bench
开源的AI代理权限门基准测试框架,在多种代理框架上搭建邮件与文件环境,量化特权工具调用前的权限门对注入攻击执行率的拦截效果
时间轴 (近 90 天)
10月19日
开发者sunnydachs在三个代理框架上进行了1800次实验,测试四种权限门(无门、规则门、LLM审查门、概率门)对间接提示注入攻击的拦截效果。
待验证50%
10月19日
作者指出实验局限包括:事件计数小(每个单元格仅1到4次)、只用一个代理模型和一个随机种子、决策模型与代理均为通用模型、语料为微型虚构公司仅结构类比。
待验证50%
10月19日
gate-bench测试框架已开源于GitHub,支持Python 3.12环境,提供run_grid跑三个框架、四种条件的网格,并用analyze.py从原始调用记录重算指标。
待验证50%