[控场AI]
· 5 分钟阅读· 2,626 字

LLM表格异常检测新突破:DiSPaT自博弈微调框架

LLM表格异常检测新突破:DiSPaT自博弈微调框架

DiSPaT用自博弈微调替代一次性监督,通过f散度理论迭代收紧正常性边界,提升表格异常检测。

表格数据异常检测因特征类型混杂而困难,现有LLM方法依赖一次性监督微调,对正常边界的刻画信号有限。新论文提出DiSPaT,将异常检测转化为分布对齐问题,基于f散度最小化推导出紧致近似,并采用交替优化:策略模型生成伪异常,判别器学习区分,判别信号回传更新策略,无需真实异常标签即可迭代收紧对正常数据的描述。实验表明,DiSPaT在多个基准上一致优于此前的LLM方法、深度学习方法和经典无监督检测器。论文指出一次性微调存在信号瓶颈,自博弈迭代优化能带来实质提升,但计算开销和伪异常质量仍是待验证的局限。

表格数据异常检测长期面临一个棘手问题:特征类型混杂——数值、类别、文本属性交织,让模型难以学习“正常性”的统一表示。近期有研究尝试用大语言模型(LLM)将表格行序列化为文本,但依赖一次性监督微调,对“正常”边界的刻画信号有限。一篇新论文提出DiSPaT,通过自博弈微调框架强化模型对正常数据的理解,在多个基准上超越已有LLM方法、深度学习方法和经典无监督检测器。

论文来源截图

问题背景:表格异常检测的表示困境

表格数据的异常检测不同于图像或文本:同一张表里可能同时存在连续数值、离散类别和自由文本,特征空间异构且稀疏。传统无监督检测器(如基于距离、密度或树模型的方法)依赖手工特征工程或强分布假设,面对高维混合类型时容易失效。

LLM的介入提供了一条新路径——把每一行序列化成自然语言描述,让模型以语义方式理解“这一行是否正常”。这类方法利用LLM的预训练知识处理异构字段,减少了对特征工程的依赖。但论文指出,现有做法普遍采用一次性监督微调(one-shot supervised fine-tuning),模型只被动拟合标注样本,缺乏持续收紧“正常性描述”的机制,导致对分布边界的刻画不够紧致。

一次性监督微调(one-shot supervised fine-tuning) 指在预训练语言模型的基础上,使用一批标注数据(此处为正常/异常样本)进行单轮监督训练,使模型直接拟合这些样本的标签。其特点是训练过程只进行一次,模型参数更新后不再根据自身输出调整。在表格异常检测中,这种方法让LLM学会模仿标注样本的判断,但无法在训练中主动探索正常数据的边界,因此对“正常性”的刻画容易停留在表面,缺乏迭代收紧的机制。相比之下,自博弈微调通过多轮生成与判别交替优化,能持续修正模型对正常分布的估计。

DiSPaT的核心思路:f散度下的自博弈

DiSPaT的关键设计是把异常检测转化为分布对齐问题。论文基于f散度最小化的理论框架,推导出一个紧致近似:其训练目标等价于缩小真实正常数据分布与模型生成样本分布之间的差距。

具体机制是交替优化(alternating optimization):

  • 策略生成伪异常:每一轮迭代中,当前策略模型生成合成样本,这些样本被视作“伪异常”。
  • 判别器学习区分:一个critic判别器学习区分这些合成样本与真实正常样本。
  • 策略更新对齐分布:判别信号回传驱动策略更新,使模型分布逐步逼近真实正常数据分布。

这一循环的巧妙之处在于不需要真实异常标签——模型自己生成“像异常的正常偏离”,再学会识别它们,从而不断收紧对正常的定义。这与生成对抗网络的思想有相通之处,但理论根基建立在f散度最小化上,给出了训练目标与分布差距之间的定量联系。

f散度(f-divergence) 是一类衡量两个概率分布差异的指标,通过一个凸函数f定义,常见形式包括KL散度、JS散度和总变差距离。其一般定义为 (D_f(P||Q) = \int f\left(\frac{dP}{dQ}\right) dQ),要求f为凸函数且f(1)=0。f散度最小化意味着让模型分布Q尽可能接近真实分布P。在DiSPaT中,论文利用f散度的变分下界或对偶形式,将分布对齐问题转化为一个可优化的对抗目标,从而推导出训练目标与分布差距之间的紧致近似。这为自博弈训练提供了理论保证,使得策略生成和判别器更新有明确的最优化方向。

交替优化(alternating optimization) 是一种求解多变量优化问题的策略:固定一部分变量,优化另一部分,交替进行直至收敛。在DiSPaT中,每一轮迭代先固定策略模型,更新判别器以更好区分真实正常样本与策略生成的伪异常;然后固定判别器,更新策略模型以生成更接近正常分布的样本(即让判别器难以区分)。这种交替过程类似于生成对抗网络(GAN)的训练,但目标函数源自f散度最小化,而非JS散度。交替优化保证了每一步都有明确的优化目标,且无需真实异常标签,仅依靠模型自身生成的伪异常驱动学习。

实验表现:多基准上的稳定优势

论文在多样化基准上进行了实验,结论是DiSPaT一致优于三类对比方法:此前的LLM基方法、深度学习异常检测方法,以及经典无监督检测器。

从方法论角度,这一结果说明两点。其一,一次性微调确实存在信号瓶颈,自博弈式的迭代优化能带来实质性提升;其二,LLM处理表格异常检测的潜力尚未被充分挖掘,训练范式的改进比单纯扩大模型规模更关键。论文未在摘要中披露具体数据集名称和性能数值,但强调优势在多个基准上具有一致性,而非单点胜出。

值得关注的启示与局限

DiSPaT的意义不止于一个检测器。它展示了如何把LLM的生成能力与经典分布对齐理论结合:生成模型不再只是“造数据”,而是成为刻画正常性边界的工具。对于工业质检、金融风控、日志审计等表格数据密集的场景,这类方法有望降低对异常标注的依赖。

需要冷静看待的是,自博弈训练的计算开销高于一次性微调——每轮迭代都要生成样本并训练判别器,收敛所需的轮次和成本在论文摘要中未给出。此外,伪异常的质量直接决定训练信号的有效性,若策略模型生成能力不足,判别器可能学到虚假边界。这些问题有待论文全文和后续工作进一步回答。

伪异常(pseudo-anomaly) 在DiSPaT中指由当前策略模型生成的合成样本,这些样本被假定为“正常数据的偏离”,用作判别器的负例。伪异常的质量直接影响训练信号:如果生成样本与真实正常数据过于相似,判别器难以学到有效边界;如果生成样本偏离过大,则可能引入虚假模式。因此,策略模型的生成能力至关重要,它需要产生既有一定偏离度又不过于离群的样本。论文未具体说明伪异常的生成方式(如是否基于扰动或采样),但强调其作为自博弈循环的核心驱动力。后续研究可探索更可控的伪异常生成策略以提升训练稳定性。

总结

DiSPaT把表格异常检测的训练从“一次性拟合”推进到“迭代对齐”,用f散度理论为自博弈提供了可解释的目标函数。在LLM处理结构化数据的探索中,这是一条值得跟进的路线:不是让模型记住什么是正常,而是让它不断追问“什么才算不正常”。

#表格异常检测#大语言模型#自博弈微调#f散度#异常检测#DiSPaT#分布对齐#无监督学习
分享:

相关推荐