烧掉117亿Token：谁是最强网络安全AI模型？

一场耗资不菲的AI安全能力大考

当各大厂商争相宣称自家大模型在编程、推理、多模态等领域的领先地位时，一个更为专业化的问题却常常被忽视：在真正的网络安全场景中，哪款AI模型表现最好？

为了回答这个问题，有研究团队进行了一次颇为激进的实验——他们消耗了整整 117亿（11.7B）个Token，对多款主流大语言模型进行了系统性的网络安全能力评测。这个数字意味着什么？Token是大语言模型处理文本的基本计量单位，一个英文单词通常对应1-2个Token，中文汉字则约为1-2个Token。以2024-2025年主流旗舰模型的API定价为参考，GPT-4o级别模型的输入Token价格约为每百万Token 2.5-5美元，输出Token价格更高。117亿Token的消耗如果按输入输出混合均价估算，总成本可能在3万至10万美元区间，具体取决于参评模型的数量和各模型的定价策略——这还不包括评测框架开发、数据准备、结果分析等人力成本。这是一次不折不扣的"烧钱"实验，但其背后的动机值得深究。

网络安全是一个对准确性、专业性和鲁棒性要求极高的领域。一个在通用基准测试中得分优异的模型，未必能在漏洞分析、攻击链推理或安全代码审计中同样出色。因此，用专门的、大规模的评测来验证模型的真实能力，具有重要的实践意义。

为什么需要专门的网络安全AI评测

通用基准测试的局限性

目前业界广泛使用的MMLU、HumanEval等基准测试，主要衡量模型的通用知识和编程能力。其中，MMLU（Massive Multitask Language Understanding）是由加州大学伯克利分校等机构提出的大规模多任务语言理解基准，涵盖57个学科领域的选择题，从人文社科到STEM均有覆盖，被广泛用于衡量大模型的通用知识广度。HumanEval则是OpenAI发布的代码生成评测集，包含164个Python编程题，通过测试用例的通过率来评估模型的代码生成能力。这两个基准虽然权威，但其设计初衷并非针对对抗性思维和安全领域的深度推理，因此在评估模型的安全分析能力时存在天然盲区。

然而，网络安全是一个高度垂直且对抗性极强的领域，它要求模型具备以下几方面的综合能力：

威胁识别：能够从代码或日志中准确定位安全漏洞
攻击推理：理解攻击者的思路，模拟完整的攻击链条。攻击链（Kill Chain）概念最早由洛克希德·马丁公司提出，将网络攻击拆解为侦察、武器化、投递、利用、安装、命令与控制、目标达成七个阶段。后来MITRE ATT&CK框架进一步将其细化为14个战术阶段和数百种具体技术手段，成为安全行业描述和分类攻击行为的通用语言。要求AI模型理解攻击链推理，意味着模型不仅要识别单个可疑行为，还要将多个看似无关的事件串联起来，还原攻击者的完整意图和路径——这是一种高度依赖上下文理解和因果推理的复杂认知任务
防御建议：给出可落地、符合最佳实践的修复方案
误报控制：避免过度报警或漏报关键风险

这些能力很难通过通用测试来衡量。一个模型可能能流畅地生成代码，却无法识别代码中隐藏的SQL注入或缓冲区溢出隐患。SQL注入（SQL Injection）是Web安全领域最经典的漏洞类型之一，攻击者通过在用户输入中嵌入恶意SQL语句，绕过应用程序的身份验证或直接操纵数据库，OWASP（开放式Web应用安全项目）多年来将其列为十大Web安全风险之首。缓冲区溢出（Buffer Overflow）则是系统级安全漏洞的代表，当程序向缓冲区写入超出其分配空间的数据时，攻击者可能覆盖相邻内存区域，劫持程序执行流程，甚至获得系统控制权。历史上众多重大安全事件，如2003年的SQL Slammer蠕虫和2017年的WannaCry勒索病毒的底层利用机制，都与这类基础漏洞密切相关。

117亿Token消耗背后的评测规模

消耗117亿Token绝非随意为之。要构建一个可信的评测结果，需要在大量真实或仿真的安全场景中反复测试每个模型。这包括：多轮对话式的渗透测试推演、大规模的漏洞样本分析、以及跨多个安全子领域的题库覆盖。只有足够大的样本量，才能减少偶然性，得出统计意义上可靠的结论。

这也从侧面反映出一个趋势：AI能力评测正在从"一次性跑分"走向"大规模、场景化的压力测试"。随着模型能力趋同，简单的基准分数已难以区分优劣，深度的领域实测成为新的分水岭。

这类实验对安全行业的启示

AI进入安全运营中心的现实考量

越来越多的企业开始探索将大模型引入安全运营中心（SOC），用于告警分诊、日志分析和事件响应。安全运营中心（Security Operations Center, SOC）是企业网络安全防御体系的核心枢纽，通常由安全分析师团队7×24小时值守，负责实时监控网络流量、分析安全告警、协调事件响应。一个中等规模企业的SOC每天可能面对数千甚至数万条告警，其中绝大多数是误报（False Positive），分析师需要从海量噪音中筛选出真正的威胁。这种高强度、高重复性的工作正是大模型有望发挥价值的场景——通过自动化告警分诊和上下文关联分析，将分析师从初级筛选工作中解放出来，专注于高价值的深度调查。目前Palo Alto Networks、CrowdStrike、Microsoft等主要安全厂商都已在其产品中集成了大模型能力，但关于模型准确率和可靠性的行业标准尚未形成共识。

但如果模型选型缺乏严谨的评测依据，可能带来严重后果——在安全领域，一次误判或漏判就可能造成实质性损失。

因此，这类耗费巨资的横向评测，本质上是在为企业的AI安全选型提供决策依据。它回答的不是"哪个模型更聪明"，而是"哪个模型在我最关心的安全任务上最可靠"。

评测成本与商业价值的权衡

你可能没注意到，117亿Token的消耗也揭示了一个现实问题：深度评测本身的成本极高。对于大多数企业而言，独立完成如此规模的测试并不现实。这也意味着，行业需要更多公开、透明、可复现的第三方安全评测基准，以降低整体的选型门槛。

结语：垂直评测正在成为AI竞争的新战场

这次"烧掉117亿Token"的实验，虽然细节仍有待更多公开数据佐证，但它传递出的信号是明确的：在通用能力趋于饱和的今天，垂直领域的深度评测正在成为衡量AI模型真实价值的关键标尺。

对于网络安全这样容错率极低的领域，我们需要的不仅是"看起来很强"的模型，更是"经得起大规模实测检验"的模型。未来，我们或将看到更多针对特定行业的专业化评测涌现，而这些评测的结果，将比任何营销话术都更能说明问题。

需要说明的是，本文基于有限的原始信息进行分析，具体的评测方法论、参评模型清单及最终排名结果，仍需关注研究团队的完整报告。