LogCDM：小模型如何用行为图漂移实现可解释日志异常检测

日志异常检测领域正被大模型席卷——从BERT级编码器到80亿参数的语言模型，推理时离不开GPU，部署在产生日志的监控节点上近乎奢望。LogCDM提出了一条反直觉的路径：用仅8.1-8.8M参数的小型检测器，在CPU上以5.5-10.5毫秒完成单会话评分，F1分数直逼参数量大它三个数量级的LLM。

三个信号，一个门控：LogCDM的融合逻辑

LogCDM的核心设计是将三种互补信号交给一个sigmoid门控来融合。第一种是小型因果Transformer给出的"下一事件惊奇度"，捕捉序列层面的异常；第二种是会话自身转移图的图注意力嵌入与正常参考图之间的距离，刻画结构偏离；第三种是转移漂移统计量——论文证明它恰好是转移核之间的频率加权卡方散度。

这种散度视角不是数学装饰。它直接带来了三个实用产物：渐近零分布，让阈值设定有了统计依据；长度标准化分数，消除会话长短带来的偏差；逐边分解，使每一次告警都能追溯到具体的转移边。最后一点是可解释性的关键——运维人员看到的不是一个孤立的异常分数，而是"哪条状态转移偏离了正常模式"。

在共享协方差高斯模型下，这个sigmoid门控等价于贝叶斯后验，学到的权重直接反映每个数据集依赖哪种信号。这解释了为什么不同数据集上结构信号的贡献差异明显。

转移核与卡方散度：在日志异常检测中，会话可被视为马尔可夫链，其转移核定义了从一个事件类型转移到另一个事件类型的概率分布。正常会话与异常会话的转移核往往存在差异。频率加权卡方散度（frequency-weighted chi-square divergence）是衡量两个概率分布差异的统计量，它通过对每个转移边的频率加权，计算观测转移与期望转移的偏离程度。论文证明转移漂移统计量恰好是该散度的一个实例，这赋予了它良好的统计性质：在正常数据下渐近服从卡方分布，从而可直接设定显著性阈值；同时，该散度可分解到每条转移边上，实现细粒度异常定位。这种基于统计散度的做法比学习式方法更轻量且可解释。

图注意力嵌入与参考图距离：图注意力网络（GAT）通过注意力机制聚合邻居节点信息，为每个节点生成嵌入表示。在日志场景中，将会话的转移图输入GAT，可得到整个图的嵌入向量，该向量编码了会话的结构模式。正常参考图由训练集中的正常会话图嵌入平均或聚类得到，代表正常结构原型。异常会话的图嵌入与参考图嵌入之间的欧氏距离或余弦距离，反映了结构偏离程度。距离越大，越可能异常。这种方法能捕捉事件共现和转移关系的异常，但依赖于参考图的质量和正常样本的覆盖程度。

性能：与大模型的距离以小数点后一位计

在统一评估协议下，LogCDM在HDFS上取得0.984的F1，在按时间顺序划分的BGL上为0.870，在Thunderbird上为0.850。作为参照，一个8.1B参数的LLM检测器在同一协议下的成绩与LogCDM相差仅0.013-0.12。在BGL上，LogCDM超过了所有紧凑型基线。

推理成本的对比较为悬殊：LogCDM在CPU上单会话耗时5.5-10.5毫秒，无需GPU。对于需要在日志产生节点就近部署的场景，这一差异决定了方案是否可行。

消融实验揭示了信号融合的细节：结构信号在BGL和Thunderbird上带来0.025-0.030的F1增益，但在HDFS上几乎无贡献。这与门控学到的融合权重一致——HDFS的异常模式更多体现在事件序列本身，而非转移图结构。换句话说，融合权重不仅服务于预测，也充当了数据集特性的诊断工具。

F1分数与评估协议：F1分数是精确率（precision）和召回率（recall）的调和平均，常用于不平衡分类任务。在日志异常检测中，异常样本稀少，F1能综合评估检测器对异常的识别能力。评估协议指数据划分方式（如随机划分或按时间划分）、预处理步骤和指标计算规则。按时间顺序划分更贴近实际部署，但可能引入分布漂移，导致性能低于随机划分。HDFS、BGL和Thunderbird是常用的日志数据集，分别来自分布式文件系统、超级计算机和邮件服务器，其异常模式和规模各异。统一评估协议确保了不同方法间的公平比较。

可解释性与部署权衡的再平衡

日志异常检测长期面临一个三角困境：检测精度、推理成本、可解释性难以兼得。大模型推高了精度上限，却把成本转嫁给基础设施；传统统计方法轻量可解释，但精度受限。LogCDM的切入点在于，把可解释性内嵌到检测机制中，而非事后附加解释模块。

逐边分解让告警具备可操作性：系统不仅报告"这个会话异常"，还能指出是某条特定转移的漂移触发了告警。卡方散度的统计框架则提供了渐近零分布，使阈值选择脱离经验调参。这些特性对于需要审计和根因定位的生产环境具有实际价值。

当然，论文也留下了开放问题。结构信号在HDFS上的失效说明，图漂移方法对日志的图结构敏感性有前提假设；按时间划分的BGL结果（0.870）与随机划分的常规报告之间如何公平比较，仍需社区形成共识。此外，参考图的构建方式、正常样本的覆盖程度，都会影响距离信号的质量。

LogCDM的价值不在于否定大模型路线，而在于划定了一条被忽视的工程边界：当部署位置靠近日志源头、当解释需求与检测需求同等重要时，精心设计的紧凑检测器配合统计上可解释的融合机制，足以在精度上逼近大模型，同时在成本上低出数量级。对于日志量巨大、监控节点资源受限的运维体系，这是一个值得认真评估的选项。

渐近零分布与阈值设定：渐近零分布指在正常数据下，统计量随样本量增大而趋近的分布。对于卡方散度，在零假设（无异常）下，该统计量渐近服从卡方分布，其自由度与转移边数相关。利用这一性质，可以设定阈值使得误报率控制在给定水平（如p值小于0.05），避免了依赖经验调参。长度标准化分数则是对统计量按会话长度进行归一化，消除会话长短对分数的影响，使不同长度的会话具有可比性。逐边分解将总散度分解为每条转移边的贡献，从而定位异常转移。这些特性共同提升了检测的统计严谨性和可解释性。