T3MP3ST：将编程Agent武装为自主渗透红队的开源框架

当编程助手长出獠牙

你的终端里可能正跑着 Claude Code、Codex 或 Hermes 这样的编程 Agent，帮你写代码、修 bug。而一个名为 T3MP3ST 的开源项目，试图给这些 Agent 装上一整套**进攻性安全（Offensive Security）**的"外骨骼"，让它们摇身一变，成为能够自主狩猎真实漏洞的红队作战单元。

进攻性安全与红队（Red Team）背景：进攻性安全是网络安全领域中通过主动模拟攻击者行为来发现并修复漏洞的方法论，与防御性安全相对。红队这一概念源自冷战时期军事对抗演练，指专门扮演攻击者角色的团队——区别于防守方的"蓝队"（Blue Team）和混合演练的"紫队"（Purple Team）。进攻性安全的历史可追溯至1990年代美国国防部的正式渗透测试项目，其方法论经过数十年演进，形成了从漏洞扫描、手工渗透到全链路模拟入侵的完整体系。现代红队演练不仅测试技术防御，还会覆盖社会工程学、物理安全和人员意识等维度，最终交付包含可复现漏洞证明（Proof of Concept）的详细报告。在商业语境中，一次完整的红队演练可能耗资数十万美元，需要顶尖安全专家数周投入，这正是 T3MP3ST 宣称要打破的门槛。

用项目作者的话说，这是一个"harness of harnesses"（框架的框架）——它不重新造一个模型，而是在你已经付费使用的编程 Agent 之上，叠加进攻性网络安全的提示词工程与完整的漏洞利用工具链。指向一个已授权的目标，几次点击之后，你就能看到它自主开始 hunt vulns。

项目以 AGPL-3.0 协议完全开源、免费，核心主张是："进攻性安全不应该是 pay-to-play（付费才能玩）的游戏。"

AGPL-3.0 协议的特殊意义：AGPL（Affero General Public License v3）是 GNU GPL 的一个变体，专门针对网络服务场景设计。与普通 GPL 的关键区别在于：即使你只通过网络提供服务（而非分发软件本身），也必须开放修改后的源代码。这对安全工具生态意义重大——商业安全公司无法悄悄将其封装为付费 SaaS 而不回馈社区，有效防止了"开源洗白"。

覆盖范围：从 Web 到 SCADA

T3MP3ST 声称的能力覆盖面相当广，几乎囊括了红队工作的主要战场：

• Web 应用与 API：针对 OWASP Top 10 的经典漏洞
• 网络侦察：实时调用 nmap / DNS / HTTP 做指纹识别，横向移动与提权仍是实验性功能
• 源码审计：白盒漏洞挖掘
• CTF 与靶场：wargames、挑战题库
• 智能合约 / DeFi / Solidity：注意，这里仅限于复现（如 Damn Vulnerable DeFi），而非发现新漏洞
• 嵌入式、IoT、OT/SCADA、机器人开源系统

OWASP Top 10 是什么：OWASP（Open Web Application Security Project）是全球最具影响力的 Web 安全非营利组织，其 Top 10 清单是业界最广泛引用的 Web 应用安全风险标准，每隔数年更新一次。2021 年版本涵盖注入攻击（SQL/命令注入）、身份验证失效、敏感数据暴露、访问控制失效、安全配置错误、跨站脚本（XSS）、不安全的反序列化等经典漏洞类型。全球超过 90% 的 Web 安全培训和渗透测试报告以此为参考框架。

这份清单本身说明了作者的野心——不是做单点工具，而是想覆盖 Cyber Kill Chain 的全流程。

Cyber Kill Chain 简介：这是洛克希德·马丁公司于 2011 年提出的网络攻击阶段模型，将一次完整的攻击行动分解为七个连续步骤：侦察（Reconnaissance）→ 武器化（Weaponization）→ 投递（Delivery）→ 利用（Exploitation）→ 安装（Installation）→ 指挥控制（C2, Command & Control）→ 目标行动（Actions on Objectives）。理解 Kill Chain 的价值在于：防守方只需在任意一个环节阻断攻击，就能打破整条链条；而进攻方则必须全程成功才能达成目标。

用数据说话：三组基准测试

真正让 T3MP3ST 值得关注的，是它给出的几组可复现评测数据。作者刻意强调每个通关的 flag 都用挑战自带的 flag oracle 做"上报值 vs 期望值"核对，并用 verify-claims 从提交产物中重新计算通过率——这是一种对抗"刷分"质疑的做法。

XBEN：黑盒 90.1%，白盒 98.7%

在 XBOW 自家的 104 题挑战集 XBEN 上（使用 gpt-5.5）：

• 黑盒：单 Agent 漏洞利用循环达到 90.1% 的 pass@1，最差单轮扫描也有 87.5%（91/104），超过 XBOW 此前自报的 85%。
• 白盒（源码分阶段提供，单独汇报）：pass@1 高达 98.7%，最差单轮 98.1%（102/104）。

pass@k 指标解读：pass@k 是代码生成和问题求解领域的标准评估指标，表示在 k 次独立尝试中至少有一次正确解决问题的概率。pass@1 意味着单次尝试的通过率，是最严格的评估标准，因为它不允许"多试几次总能蒙对"的情况；pass@10 则允许 10 次机会，自然会有更高的成功率。在安全测试场景中，pass@1 的意义尤为重要——真实渗透测试往往没有"重来"的机会，一次触发告警就可能暴露整个行动。

黑盒与白盒测试模式：黑盒测试（Black-box Testing）模拟外部攻击者视角，测试者对目标系统内部结构一无所知，依赖网络探测和模糊测试发现漏洞；白盒测试（White-box Testing）则提供完整源码和架构文档，接近代码审计场景，理论上能发现更深层的逻辑缺陷。介于两者之间的灰盒测试（Grey-box）是实际渗透项目中最常见的形式。T3MP3ST 在两种模式下分别取得 90.1% 和 98.7% 的成绩，差距印证了信息优势在漏洞挖掘中的核心价值——拥有源码的审计者能够直接追溯数据流路径，而无需像黑盒攻击者那样通过外部观察逆向推断内部逻辑。

作者调侃道："看来我们需要新的基准了。"

Cybench：学术基准上的真实利用

在包含 40 个任务的学术基准 Cybench 上（使用 Opus 4.8，去掉提示与题解），T3MP3ST 取得了 23/40 = 58% 的单次、无提示 pass@1。这些不是玩具题，而是格式化字符串 pwn、eval 沙箱逃逸、密码学 oracle 等真实利用场景。作为参照，Anthropic 官方报告的是 76.5% 的 pass@10。

关于 Cybench 基准：Cybench 是由学术机构联合发布的网络安全能力基准测试集，其设计目标是评估 AI 系统在真实 CTF（Capture The Flag）场景下的端到端自主解题能力。CTF 竞赛本身是安全社区培养和识别顶尖人才的核心机制：参赛者需要在有限时间内攻破精心设计的靶机并取得"旗帜"（flag 字符串）。Cybench 中的任务直接来源于真实 CTF 赛题，涵盖逆向工程、二进制漏洞利用（pwn）、密码学、Web 安全和取证分析五大类别，被业界视为衡量 AI 安全能力最具挑战性的标准之一。值得注意的是，T3MP3ST 的 58% pass@1 与 Anthropic 官方报告的 76.5% pass@10 对比时，需充分考虑两个指标的严格程度差异：允许 10 次尝试的 pass@10 天然显著高于单次尝试的 pass@1，这两个数字并不在同一量纲上直接可比。

格式化字符串与沙箱逃逸的难度：这两类漏洞是 CTF 和真实渗透测试中的"硬核"场景。格式化字符串漏洞（Format String Bug）需要攻击者精确控制内存布局，在 64 位程序中往往需要数十步精细操作；沙箱逃逸（Sandbox Escape）则要求攻击者找到受限执行环境的边界缺陷，是云安全和浏览器安全的核心对抗场景。这些题目之所以难以用 AI 自动化，正是因为需要深度的上下文推理和多步操作链的精确编排——这也是 T3MP3ST 58% 的 pass@1 比较值得关注的原因。

CVE-Zero：训练截止后的真实漏洞

最具说服力的是 CVE-Zero 测试。作者将系统冷启动（COLD）指向了披露时间晚于模型训练截止的真实 CVE：

• 10 个模型未见过的 CVE，横跨 7 种语言，提示词从未针对它们调优
• 单个 Agent 将 8/10 精确定位到具体文件/行号/CWE 分类
• 完整的 pack 模式则浮现出全部 10 个

CVE 系统与 CWE 分类：CVE（Common Vulnerabilities and Exposures）是由 MITRE 公司维护的全球统一漏洞命名系统，每个已知漏洞分配唯一编号（如 CVE-2024-12345）。配套的 CWE（Common Weakness Enumeration）则是漏洞类型的分类体系——比如 CWE-79 是跨站脚本，CWE-89 是 SQL 注入。CVE-Zero 测试的关键设计在于：使用训练截止后披露的 CVE，意味着模型不可能通过记忆训练数据来"作弊"，必须依靠真实的代码推理能力定位漏洞。这在 AI 安全评估中是一种严格的"数据污染排除"方法。

这一设计的巧妙之处在于：既排除了记忆（漏洞不在训练数据里），也排除了过拟合（提示词未被调教过）。作者也诚实标注了样本量小（n=10），结果是"方向性"的。

架构：单兵作战与蜂群狩猎

T3MP3ST 提供两种运行模式，这也是其架构设计最有趣的地方。

单 Agent 模式：即上文所有基准测试采用的路径，本身已足够强大。

蜂群模式（pack-hunt）：数十个 Agent 分布在 8 个专家操作员职级上，对应 Cyber Kill Chain 与 MITRE ATT&CK 的各个阶段——侦察（recon）→ 扫描（scan）→ 利用（exploit）→ 横向移动（lateral）→ 数据外泄（exfil）→ 持久化（persistence）→ C2 → 报告（report）。

MITRE ATT&CK 框架：ATT&CK（Adversarial Tactics, Techniques & Common Knowledge）是比 Cyber Kill Chain 更细粒度的对抗战术知识库，由 MITRE 公司持续维护更新。它将攻击行为拆分为 14 大战术类别、数百种具体技术，并附有真实 APT（高级持续性威胁）组织的使用案例。ATT&CK 已成为红蓝对抗的"共同语言"：防守方用它识别覆盖盲区，进攻方用它设计攻击路径，安全产品用它标注检测能力。T3MP3ST 将 Agent 职级与 ATT&CK 阶段对齐，意味着其蜂群输出的报告可以直接映射到业界标准的风险评估框架。

一个名为 Op Admiral（作战上将） 的角色，从一句平实的英文目标描述出发规划整场行动。开启协调功能（实验性）后，操作员们共享一块"黑板"（blackboard）：一个经工具验证的发现，会触发下一步动作。Admiral 还能在运行中动态更新其他 Agent 的提示词、工具与配置。

黑板架构（Blackboard Architecture）：这是人工智能领域的一种经典多智能体协调模式，起源于 1970 年代的 HEARSAY 语音识别项目。其核心思想是：多个专门化的知识源（Knowledge Sources）共享一个中央数据结构（"黑板"），各自独立读写，通过观察黑板上的变化来决定何时激活自身——类似于一群专家围坐在同一块白板前协同解题。这种架构的优势在于松耦合：每个 Agent 只需关注自己的专长领域，无需了解其他 Agent 的内部实现。在安全场景中，侦察 Agent 将发现的端口写入黑板，漏洞扫描 Agent 自动响应并开始工作，形成自驱动的攻击流水线。这与近年来 AutoGen、CrewAI 等主流多智能体框架中的"共享状态"设计哲学高度吻合，也是 T3MP3ST 蜂群模式区别于简单任务分发的核心所在。

作者强调，T3MP3ST"用得越多、积累的记忆越多，就越强"。这指向 AI Agent 领域的长期记忆（Long-term Memory）机制：配备持久记忆的 Agent 能够积累操作经验——哪些攻击路径在特定技术栈上有效、哪些误报模式需要过滤、哪些目标特征意味着特定漏洞类型。这种"经验积累"在理论上能显著提升后续任务效率，但同样带来安全隐患：如果记忆存储遭到投毒（Memory Poisoning），攻击者可能通过构造特殊输入干扰 Agent 的判断逻辑。

军火库：从 nmap 到 Metasploit

T3MP3ST 的"Arsenal"整合了大量成熟渗透测试工具：nmap、nuclei、semgrep、ffuf、gobuster 等。默认接入 35 个工具（干净基准测试时仅用 bash 以保证可比性），开启 T3MP3ST_FULL_ARSENAL 后扩展到 83 个。

主流渗透工具简介：nmap 是网络探测和安全审计的瑞士军刀，能够扫描端口、识别服务版本和操作系统指纹，自 1997 年发布以来已成为渗透测试的基础必备工具；nuclei 是基于模板的快速漏洞扫描器，拥有数千个社区维护的检测模板，支持以极高速度对大规模目标进行已知漏洞探测；semgrep 是面向源码的静态分析工具，支持自定义规则跨语言检测漏洞模式，被广泛用于 CI/CD 流水线的安全门控；ffuf 和 gobuster 则是目录和文件暴力枚举工具，用于发现隐藏的 Web 资源和未授权端点。这些工具均为开源，是现代渗透测试者工具箱中的标准配置，其组合使用能够覆盖从信息收集到漏洞验证的完整链路。

值得关注的是安全边界设计：Metasploit、Hydra 这类"辛辣"的后渗透工具被门禁在人工审批之后。工具通过 CLI 和 HTTP API 暴露，侦察功能（security_recon）还支持 MCP 协议，让你的 Agent 能够原生调用。

MCP 协议：AI 工具调用的新标准：MCP（Model Context Protocol）是 Anthropic 于 2024 年底发布的开放标准协议，旨在统一 AI 模型与外部工具、数据源之间的交互方式。在 MCP 出现之前，每个 AI 应用都需要为每种工具单独编写集成代码，造成大量碎片化的"N×M"集成问题——M 个 AI 模型与 N 种工具之间，需要 M×N 套各不相同的适配层。MCP 定义了标准化的服务器-客户端架构，让任何兼容 MCP 的 AI 助手都能即插即用地发现和调用各类工具服务，将问题降维为"M+N"的线性复杂度。T3MP3ST 将侦察功能暴露为 MCP 服务器，意味着用户可以直接在 Claude Desktop、Cursor 等任何支持 MCP 的客户端中调用其安全扫描能力，无需专门的集成代码。这一设计也使 T3MP3ST 的安全能力更容易被嵌入到现有的 AI 开发工作流中。

冷静看待：这是 v1，风险明确

尽管数据亮眼，作者本人保持了相当的克制。这是 v1 版本，部分军火库、协调蜂群和某些靶场仍在"接线"中，项目在开放中构建，"收据"（receipts）会明确告诉你什么已上线、什么还在路线图上。未来方向是一个能自我改进的专家操作员蜂群，手握 Kali+ 军火库，并内置训练/测试集的隔离切分，避免在自己的评测上自欺欺人。

法律与伦理风险必须严肃对待。作者反复强调：仅限授权使用，只能指向你拥有或获得明确书面许可的系统。未授权访问可能构成犯罪，责任完全由使用者承担。项目以 AGPL-3.0 "as-is" 交付，无担保、无责任、零背书。

未授权访问的法律边界：在全球主要法域中，未经授权访问计算机系统均属刑事犯罪。美国的《计算机欺诈和滥用法》（CFAA）、欧盟的《网络犯罪公约》、中国的《网络安全法》都对此有明确规定。即便是善意的安全研究，若缺乏书面授权，同样可能面临法律风险——历史上不乏研究者因"善意披露"而遭到起诉的案例，其中 Aaron Swartz 案和 Weev 案均引发了广泛的法律界和技术界争议。专业的渗透测试必须有完整的授权文件链，明确规定测试范围（Scope）、时间窗口和允许的技术手段，任何超出 Scope 的操作都可能使合法测试转变为违法入侵。Bug Bounty 平台（如 HackerOne、Bugcrowd）提供了一种标准化的授权框架，是安全研究者开展合法测试的推荐路径，其规则文件（Policy）具有法律意义上的授权效力。

结语：安全民主化的双刃剑

T3MP3ST 代表了一个正在加速的趋势：通用编程 Agent 正被改造为高度专业化的自主安全工具。它把一支红队的能力放到任何拥有编程 Agent 的人手中——这既是安全民主化的进步，也是一把可能被滥用的双刃剑。

对防守方而言，这类工具的门槛骤降意味着攻击面暴露会被更快、更廉价地发现；而这也倒逼防御体系必须以同等速度进化。安全领域长期存在的"攻防不对称"问题——攻击者只需找到一个漏洞，防守方需要堵住所有漏洞——在 AI 加持的自动化工具面前，将变得更加尖锐。这一不对称性在学术界被称为"防御者困境"（Defender's Dilemma），而自动化漏洞挖掘工具的普及，本质上是在以技术手段倒逼这一均衡向防守方倾斜：当发现漏洞的成本趋近于零，修复漏洞便成为唯一可持续的策略。

技术已经上膛，如何使用，是每个人自己的选择。