ARBITRA:多专家论证框架实现鲁棒文档级ATT&CK抽取

ARBITRA用多专家LLM提议加QBAF论证验证,实现鲁棒的文档级ATT&CK抽取。
文章介绍了一种面向网络威胁情报(CTI)报告的文档级 MITRE ATT&CK 抽取框架 ARBITRA。现有方法存在两难:句子级流水线逐句抽取会丢失跨句上下文,而直接用大语言模型处理完整报告又会导致抽取精度下降,尤其在表述模糊或存在矛盾时。ARBITRA 分提议与验证两阶段:多个角色专精的 LLM 专家从完整报告中提出候选 ATT&CK 实体,再由定量双极论证框架(QBAF)依据文档证据与推理依据对每个候选逐一权衡支持与反对意见,决定是否采纳;研究者还构建推理专精语料微调专家模型。实验显示其在高精确率工作点上优于句子级流水线、LLM 抽取系统乃至 GPT-5.5 等前沿模型,并在冲突陈述、跨报告污染和语义中毒等对抗扰动下把精确率退化限制在前沿基线约一半,兼顾了上下文完整性与抽取精度。
网络安全威胁情报(CTI)报告通常以自然语言描述攻击者行为,但将其转化为结构化的MITRE ATT&CK映射仍是一项挑战。现有方法往往将报告拆解到句子级粒度进行抽取,而现代大语言模型(LLM)虽能单次处理完整报告,却面临性能明显下降的问题。为此,研究者提出ARBITRA——一种通过多专家论证实现鲁棒文档级ATT&CK抽取的新框架。

现有方法的局限与ARBITRA的突破
当前ATT&CK抽取主要面临两条技术路线的权衡。句子级流水线方法将报告分解为句子,逐句抽取实体,这种方式牺牲了文档的全局上下文,导致跨句关联信息丢失;而直接使用LLM处理完整报告虽保留了上下文,但模型在长文档上的抽取精度显著下降,尤其当报告中存在模糊表述或矛盾陈述时。
ARBITRA的核心创新在于引入多角色专家LLM协作机制。多个角色专精的LLM专家从完整报告中提出候选ATT&CK实体,这些候选随后通过基于文档证据和推理依据的逐候选定量双极论证框架(QBAF)进行验证。这种设计既保留了文档级上下文,又通过论证过程提升了抽取的精确性。
MITRE ATT&CK 是一个公开的对抗战术与技术知识库,将真实攻击行为归纳为战术(Tactic,如初始访问、横向移动)和技术(Technique,如钓鱼附件、凭证转储)两级分类,并为每项技术分配唯一编号(如 T1566)。威胁情报报告中的自然语言描述若映射到这套编号体系,就能与安全运营平台、检测规则和威胁狩猎流程对接,实现自动化关联分析。因此,ATT&CK 抽取本质上是一个把非结构化文本对齐到受控本体(ontology)的实体链接任务,其难点在于同一攻击行为可有多种表述、一项技术常跨越多句描述,且报告作者未必使用 ATT&CK 的标准术语。
多专家论证与QBAF验证机制
ARBITRA的工作流程分为两个阶段:提议与验证。在提议阶段,多个角色专精的LLM专家各自从完整报告中识别可能的ATT&CK实体,形成候选集合。不同专家的角色设定使其关注不同的攻击行为维度,从而覆盖更全面的候选空间。
验证阶段则采用定量双极论证框架(QBAF)。每个候选实体都会接受基于文档证据和推理依据的论证评估——支持证据与反对证据被量化并权衡,最终决定该候选是否被采纳。这种逐候选的论证方式使系统能够处理报告中的矛盾陈述,并降低噪声干扰。
为提升专家在验证过程中的参与有效性,研究者还构建了推理专精语料用于微调,使专家模型能够更好地扮演论证角色。
定量双极论证框架(Quantitative Bipolar Argumentation Framework, QBAF)源于计算论证理论,用于在存在支持与反对意见时对论点进行可计算的评价。其基本结构是:每个论点赋一个初始基础分,论点之间通过“支持”边和“攻击”边相连,再用迭代的语义规则(如加权求和或欧拉公式)聚合来自其他论点的正负影响,最终得到每个论点的强度。在 ARBITRA 中,一个候选 ATT&CK 实体即为待评价的论点,文档中的证据片段构成支持或攻击它的子论点,框架据此给出可比较的置信度数值,从而把“是否采纳该候选”转化为可量化、可解释的论证结果,而非黑箱式的模型打分。
性能表现与鲁棒性优势
在ATT&CK抽取基准测试中,ARBITRA达到了比句子级流水线、近期基于LLM的抽取系统以及包括GPT-5.5在内的前沿模型更强的精确率导向工作点。这意味着在追求高精确率的场景下,ARBITRA能够提供更可靠的抽取结果。
鲁棒性测试进一步展示了ARBITRA的优势。在模拟冲突TTP陈述、跨报告污染和语义中毒的对抗性扰动下,ARBITRA将平均精确率退化限制在前沿模型基线的大约一半。这一结果表明,多专家论证机制能够有效抵御对抗性干扰,维持抽取质量的稳定性。
精确率导向工作点(precision-oriented operating point)指在精确率与召回率的权衡曲线上,选取以高精确率为优先的阈值位置。在威胁情报场景下,这一取向具有现实合理性:错误映射会误导检测规则编写与事件响应,产生较高的验证成本,而遗漏若干技术通常可在后续分析中补足。因此评测不仅看 F1,还关注系统在“宁可少报、不可错报”条件下的表现,ARBITRA 正是在这一工作点上与句子级流水线和前沿模型进行比较。
对威胁情报自动化的意义
ARBITRA的价值在于将文档级上下文利用与精确抽取之间的张力通过论证机制加以调和。对于威胁情报分析人员而言,从长篇CTI报告中自动提取准确的ATT&CK映射可以大幅减少人工标注负担,而鲁棒性的提升则意味着在面临噪声或对抗性数据时,系统仍能提供可信的输出。
该框架的多专家论证思路也为其他结构化信息抽取任务提供了参考——当单一模型难以兼顾上下文完整性与抽取精度时,引入多角色协作与形式化论证验证可能是一条有效路径。
随着LLM在网络安全领域的深入应用,如何保证抽取结果的精确性和鲁棒性将成为持续关注的焦点。ARBITRA的提出标志着文档级ATT&CK抽取向实用化迈出了重要一步。
相关推荐

合理使用制度为何对AI时代人人有益
从Hacker News讨论出发,解析合理使用(Fair Use)原则在AI训练与内容创作中的法律逻辑、争议焦点及其对创作者与技术生态的双重影响。

Salesforce 3.75亿美元收购Rune,AI物流技术补强国防业务
Salesforce 据报道以 3.75 亿美元收购国防科技初创公司 Rune,这家 AI 物流公司的技术将用于补强 Salesforce 的 Missionforce 国防平台,也延续了 Salesforce 近期的并购节奏。

Mistral Large 4开源万亿参数,微软6万员工自愿离职
Mistral Large 4 开源万亿参数多模态模型,编码智能体评测得分 48;闪迪财报显示 AI 推理重塑 NAND 需求;谷歌 Gemini 上线应用内文件编辑,OpenAI 上调 Codex 额度,微软向 6 万员工提供自愿离职方案。