隐马尔可夫偏好模型：在线预测攻击者下一步行动

在网络攻防中，防御方需要在攻击者行动之前，基于已有信息预测其下一步动作，并给出概率分布。这看似简单，却因两个复杂结构而变得棘手：攻击者的行为模式会在同一场景中持续并可能切换；每个动作又由操作及其依赖状态的参数构成，而参数的可选值随时间变化。近期一篇论文提出用隐马尔可夫模型（HMM）统一刻画这两点，并在CAGE 2网络防御基准上取得了优于循环基线的表现。

问题背景：攻击者行为的两重复杂性

传统攻击预测往往假设攻击者行为模式固定，或忽略动作参数的动态可行性。然而现实中的攻击者可能在不同攻击阶段切换策略——例如从侦察转向利用，或从横向移动转向数据泄露。同时，每个动作（如“扫描端口”）的具体参数（如端口号）受当前网络状态制约，可行值集合随时间变化。论文指出，这两个结构相互交织：行为模式的切换会影响动作参数的选择分布，而参数可行性又反过来提供模式切换的线索。因此，需要一个能同时建模模式切换与动作参数可行性的概率框架。

隐马尔可夫模型（HMM） 是一种统计马尔可夫模型，用于描述由不可观测的隐状态序列生成的可观测序列。其核心假设有两条：隐状态构成一阶马尔可夫链，即当前隐状态只依赖前一隐状态；观测值只依赖当前隐状态。HMM由初始状态分布、状态转移矩阵和观测概率（发射概率）三组参数完全确定。经典应用包括语音识别、生物序列分析和手写识别。在攻击预测场景中，攻击者的行为模式（如侦察、利用、横向移动）对应隐状态，可观测的动作及其参数对应观测值，HMM正好提供了从动作序列反推模式并预测下一步的概率框架。

模型核心：隐状态与可行性掩码树

论文提出的隐马尔可夫偏好模型将攻击者的活跃行为模式作为隐状态（latent state），每个模式下的动作规律定义在一棵“可行性掩码树”上。树的节点对应可执行动作，掩码则根据当前状态动态屏蔽不可行的动作分支。这样一来，模型既能通过隐状态转移刻画模式切换，又能通过树结构处理动作参数的时变可行性。

模型的关键在于似然函数的设计：同一个似然既用于计算下一步动作的预测分布，也用于在观测到动作后更新模式信念。对于部分观测的动作前缀，模型贡献其已解析的局部因子，从而支持在线实时推断。这种统一性使得预测与学习可以无缝衔接。

学习与理论保障

在参数估计方面，论文将问题分解为凸逻辑回归拟合，当模式标签缺失时，Baum-Welch算法可复用这些拟合结果。这避免了非凸优化的陷阱，提升了计算效率。理论分析上，作者推导了三种保障：

• 到达加权的节点级KL表达式：量化每个节点对模式信息的贡献，反映不同动作路径的信息量差异。
• 序列级对数损失界：针对模式切换路径，给出预测损失的数学上界。
• 统一回退保证：在极端情况下模型性能不会低于某个基准。

这些分析为模型的实际应用提供了可靠性依据。

Baum-Welch算法 是期望最大化（EM）算法在HMM参数估计中的特例，用于在隐状态不可观测时估计转移概率和发射概率。它交替执行两步：E步利用前向-后向算法计算给定当前参数下各时刻隐状态的后验分布，M步据此更新参数以最大化期望对数似然。该算法保证似然单调不减，但通常只能收敛到局部最优，且计算复杂度随状态数平方增长。本文的贡献之一在于将M步中的发射参数拟合分解为凸逻辑回归问题，从而规避了非凸优化的局部最优风险，并允许在模式标签缺失时复用这些凸拟合结果。

基准测试表现

在CAGE 2网络防御基准上，论文报告了量化结果：过滤后的隐状态每步价值0.8纳特（nats），意味着隐状态携带了显著的不确定性减少信息。更引人注目的是，在控制器切换后，模型的损失在3步内开始下降，而循环基线需要10步。这表明HMM能更快适应攻击者行为模式的突变，对动态对抗环境具有实际优势。

据论文作者分析，这一优势源于模型对模式切换的显式建模——当攻击者改变策略时，隐状态信念迅速更新，从而引导预测分布调整；而循环基线依赖隐层状态的缓慢演化，响应滞后。

CAGE 2 是面向网络防御的公开基准环境，全称Cyber Attack Generator Environment 2，由CybORG仿真框架驱动，用于评估自主网络防御智能体。它模拟一个小型企业网络，包含多台主机与子网，红方智能体（攻击者）可执行扫描、漏洞利用、权限提升、横向移动等动作，蓝方智能体（防御者）则需检测并响应。CAGE 2提供标准化的观测接口与奖励信号，支持多种红方策略（如有限视野、固定策略、随机策略），因而常被用作攻击预测与防御决策研究的对比平台。本文在此基准上比较HMM与循环神经网络基线，衡量指标为每步预测对数损失。

对安全防御的启示

该研究为在线攻击预测提供了一条结构化路径：用隐状态捕捉行为模式，用可行性树处理动作参数，用统一似然实现在线学习。对于防御方而言，这意味着可以更早地预警攻击者的下一步动作，尤其是在攻击者切换策略的临界点。不过，模型的实际部署仍需考虑计算开销与树结构的构建成本。未来工作或可探索如何将领域知识融入掩码设计，以及扩展到多攻击者场景。

总体而言，这篇论文在理论严谨性与实证效果之间取得了平衡，为对抗性环境下的序列决策提供了新思路。