大模型能读懂欺诈网络吗？Gemma 4 31B实测

用图神经网络做欺诈检测已经是相对成熟的路线，但一个更基础的问题长期缺乏直接的实验回答：把交易之间的关系网络翻译成文字喂给大语言模型，它能否仅凭这段文本描述，判断一笔交易是否可疑？

一位开发者在 Kaggle Benchmarking Challenge 中构建了这样一个基准任务，用 IEEE-CIS 欺诈检测数据集测试了 Gemma 4 31B（google/gemma-4-31b）。结论有些冷水：模型的表现只比抛硬币略好，且明显落后于同任务的 GraphSAGE 图神经网络基线。

Can an LLM Read a Fraud Network? Testing Gemma 4 31B

基准设计：把图结构变成文字

这个基准的核心思路不是让模型直接读取图数据，而是把目标交易及其局部网络邻域转换为一段文本描述。

具体做法是：每个样本包含一笔目标交易，以及与之通过共享属性（卡号、地址、设备信息等）相连的若干邻近交易。提示词中呈现的是这些交易的文本化关系信息，不包含真实标签。模型需要完成两项任务：

将目标交易分类为欺诈或正常
从邻近交易中识别出一笔潜在可疑的交易

这种设计试图回答的问题很明确：通用语言模型能否从"图上下文→文本"的转换中提取出有判断价值的结构信息。

GraphSAGE 是 Hamilton 等人于 2017 年提出的一类归纳式图神经网络，全称 Graph SAmple and aggreGatE。它的核心思想是：对目标节点，采样其固定数量的邻居（而不是使用全部邻居），再通过聚合函数（如均值、LSTM、池化）把邻居的特征逐层汇聚到自身，从而在每一层都生成一个融合了局部邻域信息的节点表示。与需要全图训练的图卷积网络不同，GraphSAGE 的采样机制使其可以在未见过的节点上做推理，非常适合交易图谱这类节点持续新增、结构动态演化的场景。在 IEEE-CIS 这类表格数据上，通常的做法是把每笔交易作为节点、共享属性（卡号、地址、设备）作为边，再用 GraphSAGE 学到的嵌入接一个分类头做欺诈判别。正因如此，GraphSAGE 天然"看见"的是真实图拓扑，而 LLM 看到的只是拓扑被序列化后的文字，两者的信息起点并不对等。

测试结果：55% 的分类准确率意味着什么

在 100 个样本上，Gemma 4 31B 的分类准确率为 55%，邻域可疑交易识别（代理指标）准确率为 53%。

分类任务的 100 个标签中，欺诈和正常各占 50 个，因此多数类基线恰好是 50%。55/100 的成绩在统计上不足以证明模型具备超越基线的区分能力。开发者也明确表示，该结果不支持模型性能高于参考基线的结论。

值得对比的是 GraphSAGE 图神经网络基线的表现：同样 100 个样本中，GraphSAGE 正确 67 个，Gemma 正确 55 个。两者的交叉表现是：

双方都答对：44 个
Gemma 答对但 GraphSAGE 答错：11 个
GraphSAGE 答对但 Gemma 答错：23 个
双方都答错：22 个

在这批样本上，图神经网络基线的优势是明确的。

在评估二分类模型时，多数类基线（majority-class baseline）是最低参照点：当正负样本各占一半时，一个永远预测"正常"的模型也能拿到 50% 的准确率。因此在平衡数据集上，55% 与 50% 之间 5 个百分点的差距是否显著，取决于样本量和统计检验。在 n=100 的条件下，单个样本就代表 1 个百分点，其 95% 置信区间大致在 45%–65% 之间，完全覆盖 50%，也就是说这 5 个百分点很可能是随机波动而非真实信号。要判定模型是否真正优于基线，通常需要更大样本（数百至数千）、配对检验（如 McNemar 检验，专门用于比较两个分类器在同一批样本上的差异）以及多次随机种子下的重复实验。这个基准的诚实之处正在于：它没有把 55% 包装成"击败基线"，而是明确承认统计证据不足。

运行细节与一个值得注意的工程问题

本次运行共产出 200 条非空响应（分类和邻居识别各 100 条），任务完整执行。

但过程中出现了一个工程细节：在控制探针中，当 128 token 的上限嵌套在 extra_body 参数下发送时，模型返回了空响应；将 max_tokens 作为顶层参数传递后，全部 200 条响应正常产出。这个现象对使用类似 API 接口的开发者有参考价值。

邻居指标的边界：代理分数不等于真实能力

邻居识别任务的 53% 需要格外谨慎地解读。IEEE-CIS 数据集并未提供经过验证的欺诈团伙成员标签或团伙头目标签，因此开发者退而求其次，用所选邻居交易自身的欺诈标签作为评分依据。

这意味着 53% 是一个欺诈邻居代理分数，不能被视为模型能够识别真实欺诈团伙或其头目的证据。这一区分在解读结果时至关重要——把代理指标当作能力证明，是欺诈检测研究中常见的误读陷阱。

代理指标（proxy metric）指在缺乏目标概念的真实标签时，用另一个可得且相关的量来近似衡量。这里的目标概念是"欺诈团伙成员或头目"，但 IEEE-CIS 数据集只有逐笔交易的 isFraud 标签，没有提供经过核实的团伙归属标注。因此开发者只能用"所选邻居交易本身是否为欺诈"来给邻居识别任务打分。问题在于，欺诈交易之间未必存在真实的犯罪关联——两笔独立发生的盗刷可能因共享某个高风险的地址或设备片段而相连。用邻居的欺诈标签作代理，实际上衡量的是"模型能否挑出一个恰好是欺诈的邻居"，而不是"模型能否识别出与目标交易真正协同作案的节点"。在欺诈检测研究中，把这类代理分数当作团伙识别能力的证据是常见误读；任何基于代理指标的结论，都应清楚标明它测的是什么、没测什么。

结论与下一步方向

这个基准的主要发现可以概括为：将局部交易邻域以文本形式提供给 Gemma 4 31B，在这个样本规模上并未产生强有力的预测表现。

开发者提出的后续计划包括：测试更多模型、扩大样本量、以及运行提示词消融实验，以量化邻域细节对预测结果的实际影响。

对于关注 LLM 在图结构任务中应用边界的研究者和工程师来说，这个实验的价值不在于证明"LLM 不行"，而在于提供了一个可复现的测试框架，以及一个诚实的负结果——在一个被 GNN 主导的领域中，通用语言模型仅凭文本化的关系描述，目前还难以匹配专用图模型的表现。需要说明的是，这是一次单模型评估，而非跨模型的大规模排名，结论的适用范围应限定在本次测试的模型与样本上。