System One决策模型首次用于恶意软件检测:S1Mal集成方案解析

系统评估System One决策模型在PE恶意软件检测中的表现,提出S1Mal集成方案。
研究首次系统评估了System One决策模型在Windows PE恶意软件检测中的表现。这类模型旨在同时提供可校准的概率分数和可读的原子决策依据。实验在隔离环境中用Ghidra和capa将二进制转为文本状态,设置A0(单一判定问题)、A1(32个原子行为问题+梯度提升树汇总)、A2(状态嵌入分类头)三种读出方式,覆盖CLM-8B、十个开放决策模型及两个logits读取的LLM。结果显示,A0的AUROC跨度仅0.4025-0.8590,静态证据被大量浪费;A1使各模型AUROC平均提升54.61%;A2使CLM-8B提升0.2749至0.9943。S1Mal将A1原子答案与A2分数集成,达到0.9946 AUROC,1.45% FPR下检出93.47%,0.1% FPR下检出59.15%(仅A2为46.59%)。
恶意软件检测长期面临一个矛盾:基于特征的检测器能给出在固定误报率(FPR)下校准的分数,但决策依据难以被分析师直接阅读;而基于反编译代码的大语言模型(LLM)虽然能生成可读的文本解释,其置信度却未经过校准。System One决策模型试图弥合这一裂痕——它针对文本回答一个类型化问题,在一次前向传播中给出声明答案上的概率分布。近日一项研究首次系统评估了这类模型在Windows PE恶意软件检测中的表现,并提出了名为S1Mal的集成方案。

问题背景:校准分数与可读决策的割裂
传统基于特征的检测器在固定FPR下能提供校准良好的分数,这是安全运营的基础需求——分析师需要知道"这个分数对应多大的误报风险"。但这类检测器的决策逻辑往往是一组难以解释的特征权重。
LLM走上另一条路:在反编译代码上生成文本,让分析师能读懂模型"在想什么"。问题在于,这些生成文本的置信度是未校准的,无法直接转化为可操作的阈值。System One决策模型的设计目标正是同时满足两个需求:输出声明答案上的概率(可校准),并让每个决策背后有可追溯的原子问题答案(可读)。
校准(Calibration) 指的是模型输出的置信度分数与其实际正确率之间的一致性。一个校准良好的模型,当它给出0.9的恶意概率时,在所有给出该分数的样本中,大约有90%确实是恶意的。对于安全运营而言,校准是阈值设定的前提:分析师需要将分数映射为具体的误报风险(例如“分数高于0.8对应误报率低于0.1%”)。许多深度学习模型(尤其是LLM)输出的概率往往过度自信或欠自信,未经校准的分数无法直接用于运营决策,通常需要借助Platt缩放、等渗回归或温度缩放等后处理手段进行校准。
AUROC(ROC曲线下面积) 是衡量二分类器整体区分能力的指标,取值范围0.5(随机)到1.0(完美),它衡量的是模型将随机正样本排在随机负样本之前的概率。AUROC对类别不平衡不敏感,因此在恶意软件检测这类正负样本比例悬殊的场景中被广泛使用。但AUROC也有局限:它汇总了所有阈值下的表现,无法直接反映固定低FPR(如0.1%)下的检出率,而后者恰恰是安全运营最关心的指标,因此研究中同时报告了特定FPR下的检出率。
实验设计:隔离环境与三级读出
研究在隔离虚拟机中构建了完整的分析流水线:Ghidra与capa负责分解每个二进制文件,主机将记录渲染为规范的文本状态——涵盖文件头、导入表、MITRE ATT&CK能力标签和字符串的摘要,可选地加入反编译函数,且不包含任何类别捷径信息。
在这一文本状态上,研究设置了三种读出方式评估每个模型:
- A0:单个判定问题的概率,即直接询问模型"这是恶意软件吗"。
- A1:32个原子行为问题,由梯度提升树加权汇总。
- A2:在模型状态嵌入上接分类头。
S1Mal的方案是将原子答案与CLM-8B的A2分数一起输入梯度提升树。评估覆盖CLM-8B、十个开放决策模型以及两个通过logits读取的LLM,数据集包括BODMAS时间分割、SOREL-20M分布外恶意软件和14,534个匹配的良性文件。
Ghidra 是美国国家安全局开源的反汇编与反编译框架,支持多种处理器架构和文件格式,能对二进制文件进行反汇编、反编译生成类C伪代码,并提供函数调用图、交叉引用等分析视图。capa 是Mandiant(现属Google)开源的恶意软件能力识别工具,它基于规则匹配从二进制中识别出高层的攻击能力标签(如“创建进程”“读取文件”“注入代码”),并将这些能力映射到MITRE ATT&CK框架。两者结合,可以把原始二进制转化为结构化的、语义可读的文本状态,为LLM提供输入。
MITRE ATT&CK 是一个公开的对抗战术与技术知识库,按战术阶段(如持久化、横向移动、数据渗出)组织攻击者的具体技术,每项技术有唯一编号。在恶意软件分析中,ATT&CK标签提供了标准化的行为描述词汇,使得模型回答的原子问题能够对应到业界通用的威胁语言,便于分析师理解和关联到更广泛的威胁情报。
关键发现:A0浪费证据,A1与A2大幅提升
在BODMAS上,A0的表现暴露出单一判定问题的局限:13个模型的AUROC跨度从0.4025到0.8590,说明静态证据在很大程度上被浪费了。
A1改变了局面。通过将决策拆解为32个原子行为问题,每个模型的AUROC平均提升54.61%。这一结果指向一个核心洞察:让模型回答细粒度的行为问题,比直接问"是否恶意"更能激活其内部知识。
A2同样有效:CLM-8B的AUROC提升0.2749至0.9943,超过基于摘要事实的组合器(0.9901),并在九个开放模型上达到0.9853至0.9948的区间。
S1Mal集成方案最终达到0.9946的AUROC。在测试ROC曲线上,实际FPR为1.45%时检出93.47%的恶意软件;在0.1% FPR的严格阈值下检出59.15%,而仅用A2时为46.59%。
梯度提升树(Gradient Boosting Decision Tree, GBDT) 是一种集成学习方法,通过串行地训练一系列弱学习器(通常是浅层决策树),每棵新树拟合前序模型的残差,最终加权求和得到预测。GBDT在处理表格型特征、中小规模数据时表现优异,且对特征缩放不敏感、可输出特征重要性,因此常被用作元学习器或集成汇总器。在本研究中,GBDT被用于将32个原子行为问题的答案(或模型嵌入分类头的分数)汇总为最终判定,其优势在于能学习不同原子问题之间的非线性组合关系,并保持较好的可解释性。
logits读取 指的是不经过模型生成文本,而是直接取模型在特定词元(如“是”“否”)上的原始输出分数,经softmax后得到概率。相比生成式读出,logits读出更稳定、计算开销更小,但要求模型对答案词元有明确的概率分布,且这些概率同样需要校准才能用于阈值决策。
对安全运营的意义
这项工作的价值不止于分数。S1Mal的每个决策都附带支撑它的原子答案,分析师可以看到模型具体基于哪些行为判断得出恶意结论,而非面对一个黑箱分数。在固定FPR下校准的概率输出,则让阈值设定有了明确的风险含义。
System One决策模型在恶意软件检测上的首次评估表明,将判定问题分解为类型化的原子问题、再以集成方式汇总,是释放这类模型检测能力的有效路径。对于需要可解释性与可校准性并重的安全场景,这一方向值得持续关注。
相关推荐

OpenAI 11月30日关停Agent Builder等三项服务,开发者需紧急迁移
OpenAI 将于 11 月 30 日关停 Agent Builder、evals 仪表盘和可复用提示三项开发者功能,evals 已转为只读。本文梳理受影响范围、OpenAI 官方给出的迁移路径(Agent SDK、PromptFu、自有代码)以及开发者本周应完成的导出与重建动作。

RankSpot:按次付费的SEO与AI搜索执行层,让Agent替你写文、发布、换外链
RankSpot 是面向 AI Agent 的 SEO 与 AI 搜索执行层,通过 MCP 接入 Claude 或 ChatGPT,让 Agent 完成写文、发布和外链获取。按次付费,每篇文章 3 美元,读数据免费,支持 100 多种语言。

Appxiom:给AI编程助手装上生产环境上下文
Appxiom为AI编程Agent提供生产环境上下文,覆盖崩溃、卡顿、内存泄漏与失败的网络调用,支持Android、iOS、Flutter、KMP和Web,并通过Goal Friction Impact按业务目标排序Bug。