LLM有限预算下的恶意软件研判:跨模型对比研究

TRIAGE-CPG将LLM静态研判建模为预算约束下的证据获取,揭示模型选择即策略选择。
TRIAGE-CPG研究将LLM辅助的二进制静态研判形式化为预算约束下的证据获取问题:面对平均约1000个函数的样本,模型仅检查约40个函数即需在安全放行、恶意标记和升级分析之间做出权衡。研究构建了基于代码属性图(CPG)的固定三阶段流水线,在1000个Windows PE样本上以零样本协议评测了八个闭源与开放权重模型。最佳模型严格平衡准确率达0.805,tBA为0.855。关键发现是模型策略分化明显:高特异性模型升级队列小而精,召回导向模型升级更广泛,且闭源与开源模型均分布于此光谱。核心结论是不存在通用部署配置,模型选择本身即决定了放行、标记与升级之间的权衡,安全团队需依据自身风险偏好选型。
安全分析师面对未知二进制文件时,往往需要快速判断:是安全放行、标记为恶意,还是升级做深度分析。大语言模型(LLM)能够通过解读反编译代码来辅助决策,但一个二进制文件可能包含成百上千个函数,让LLM穷举分析并不现实。近期一项名为TRIAGE-CPG的研究,将静态研判形式化为「预算有限下的证据获取」问题,并系统比较了多个LLM在此场景下的行为差异。

核心问题:在有限预算下,LLM如何选择证据?
研究团队指出,当静态研判被构建为预算约束下的证据收集过程时,关键问题不再是「模型能否识别恶意代码」,而是「模型会检查哪些函数,以及如何在安全放行、恶意检测和升级分析之间做权衡」。为了进行受控比较,他们实现了TRIAGE-CPG——一个基于反编译二进制代码属性图(CPG)的固定流水线。
该流水线包含三个阶段:首先由无LLM的启发式方法选择种子函数;然后一个智能体在固定预算下扩展证据档案;最后生成报告,给出安全、可疑或恶意三种判定,并附带行为报告。这种设计确保了不同模型在相同条件下比较,排除了流程差异的干扰。
代码属性图(CPG) 是一种用于表示程序语义的图结构,最早由 Joern 项目提出。它将抽象语法树(AST)、控制流图(CFG)和程序依赖图(PDG)合并为单一的多边图:节点代表变量、表达式、语句等程序元素,边则编码了语法包含、控制流跳转和数据依赖等关系。对于反编译后的二进制代码,CPG 能恢复出接近源码级别的结构信息,使 LLM 不必直接面对晦涩的汇编指令,而是基于带有类型和依赖关系的中间表示进行推理。TRIAGE-CPG 选择 CPG 作为 LLM 的输入载体,正是看中它在保留语义的同时显著压缩了原始二进制的复杂度。
实验设计:八个模型、千个样本、零样本协议
研究评估了八个闭源和开放权重模型,数据集为1000个Windows PE二进制文件,其中600个样本作为测试集,所有模型使用相同的零样本协议。评价指标包括两种:严格的二元解读(只把标记为恶意的算作阳性)和研判平衡准确率(tBA),后者将标记或升级的恶意样本都计入正确,而安全样本只有在被放行时才计入正确。
每个二进制文件平均包含约1000个函数,模型只分析了其中约40个函数后就做出判断。这种「预算」约束模拟了真实场景中分析师时间有限的情况。
零样本协议(zero-shot protocol) 指模型在评测时不接受任何针对该任务的示例演示或微调,仅依靠预训练阶段获得的能力完成任务。在恶意软件研判场景中,采用零样本协议意味着所有八个模型面对完全相同的提示模板和函数选择流程,排除了提示工程差异和任务特定训练数据带来的干扰。这样做的好处是能够公平比较不同模型的原生推理能力,但也意味着结果反映的是模型的「下限」表现——经过针对性微调或少样本提示后,各模型的准确率和策略分布可能发生显著变化。读者在解读 0.805 的严格平衡准确率时,应将其理解为当前零样本条件下的能力基线。
关键发现:模型策略分化明显
表现最好的模型在严格平衡准确率上达到0.805,tBA为0.855。具体来看,该模型标记了65%的恶意软件,另外升级了12%,并放行了94%的安全样本。这一结果说明LLM在静态研判任务上已经具备相当的能力,但不同模型之间的策略差异巨大。
研究将模型分为两类:高特异性模型产生小而精的升级队列,其中恶意软件比例高;而召回导向的模型则更广泛地升级或标记样本。说个细节,闭源和开放权重模型都分布在这一光谱上,没有哪一类模型天然占据优势。
研判平衡准确率(tBA, triage-balanced accuracy) 是本研究中为贴合实际研判流程而设计的复合指标。传统二元分类只关心「恶意/安全」两种输出,但真实分析师还有第三种动作:升级(escalate)到深度分析。tBA 的计分规则是:恶意样本若被标记为恶意或被升级,均计为正确;安全样本只有被明确放行才计为正确。这一设计鼓励模型在不确定时选择升级而非强行二选一,但也意味着过度升级恶意样本不会受到惩罚,而过度升级安全样本则会拉低得分。因此 tBA 与严格二元准确率之间的差距,实际上反映了模型将不确定性转化为升级动作的程度。
没有通用配置:模型选择即策略选择
研究得出的核心结论是:不存在通用的部署配置。在有限的静态证据下,模型选择本身决定了放行、标记、升级之间的权衡。这意味着安全团队需要根据自身业务需求(比如更怕漏报还是更怕误报)来选择合适的模型,而不是指望一个「全能」模型。
这一发现对实际部署有直接启示:如果安全运营中心希望减少分析师负担,可以选择高特异性模型,让升级队列更精准;如果更关注覆盖率,则需要接受更多的误报和升级量。研究同时提醒,LLM辅助研判并非替代人类分析师,而是作为一种预算受限下的证据筛选工具。
对安全实践的启示
TRIAGE-CPG的研究为LLM在恶意软件分析中的应用提供了一个可复现的评测框架。其价值不仅在于展示了当前模型的能力边界,更在于揭示了模型行为差异背后的策略选择问题。对于想要引入LLM辅助静态研判的组织来说,先明确自身的风险偏好和运营约束,再针对性地评测候选模型,可能比盲目追求「最强模型」更为务实。
该研究也指出了未来方向:如何设计更好的证据选择策略、如何结合动态分析信号、以及如何让模型在预算与准确率之间实现更优的自动平衡,都是值得探索的问题。
相关推荐

Claude Mythos 5.2 与 Fable 5.2 错误率异常升高
Claude Mythos 5.2 和 Claude Fable 5.2 出现请求错误率异常升高,官方状态页已标记为调查中。本文梳理事件概况、对开发者的实际影响及应对建议。

ReAct运行时上下文裁剪:Claude Code为何70%就动手
深入解析ReAct运行时的上下文裁剪机制:为什么Claude Code在上下文使用约70%时就触发压缩,工具调用为何占用最多、为何必须成组丢弃,以及代码库为何不需要RAG。基于B站小福哥《分币不掏,学习AI Agent开发》第17节整理。

AI Agent vs LLM:Cursor和Claude Code如何真正工作
深入解析AI Agent与LLM的本质区别:LLM生成代码建议,Agent则通过工具调用修改文件、运行测试。以Spring Boot Bug修复为例,拆解Cursor和Claude Code的工作流、权限控制与验证机制。