Coinbase 9B反欺诈模型击败Opus 4.5：可复制的方法论

Coinbase 用开源 Qwen3.5-9B 微调出的反欺诈模型，在自家风控基准上击败了 Claude Opus 4.5。但真正值得关注的不是模型本身，而是围绕它构建的整套系统。

Coinbase 构建了什么

Onramp 把交易送入风险服务。既有的机器学习模型和规则引擎先做初筛，LLM 智能体在下游只审查被选中的交易，使用近期交易历史和书面审查指南。

关键设计决策有三点：

• 仅输出等级。模型返回风险等级（如 RISK_LEVEL: 5），不做任何解释。约 7000 token 的提示词下，Opus 的 P50 延迟约 1.5 秒
• 由外部代码决策。应用层构建上下文、解析等级、执行决策策略。模型本身从不执行支付操作
• 仅有封禁权限。智能体可以封禁上游放行的交易，但无法推翻上游的封禁决定

在 50% 流量的 A/B 测试中，启用智能体的实验组欺诈交易减少 30%，欺诈金额减少 22%。Coinbase 估算节省的欺诈损失约为推理成本的 3 倍。

为什么奖励函数是“可验证的”

大多数 LLM 强化学习需要裁判模型判断回答质量。欺诈场景不需要。历史交易最终会有结果：拒付或确认欺诈，或者没有。因此奖励只是模型输出和已知标签的确定性函数。

Part 3 补充了两个值得复制的细节：

• 格式检查。无法解析的输出会被惩罚
• 类别平衡。欺诈样本稀少时，“总是输出低风险”看起来准确率很高。奖励函数对欺诈和正常样本分别加权，让恒定输出无法刷分

GRPO 对同一提示词采样一组回答，把模型推向得分高于组均值的样本。不需要价值网络，也不需要裁判模型。

RLVR（可验证奖励强化学习） 是近年 LLM 后训练的一条重要路线，代表工作包括 DeepSeek^广告-R1 和 Tulu 3 中对数学、代码任务的训练。其核心思想是：当任务的正确答案可以被程序化地验证（例如数学题有唯一数值答案、代码能通过单元测试、交易最终被确认为欺诈或正常）时，就不再需要训练一个裁判模型去打分，直接用一个确定性的验证函数生成奖励信号即可。这样做的好处有三：一是奖励不再受裁判模型偏见和能力上限的制约；二是奖励在训练中完全可复现，便于调试；三是省去了训练和维护奖励模型的成本。代价是适用范围受限——只有那些「结果可验证」的任务才能享受这一便利，开放式写作、创意对话等任务仍需依赖人类偏好或模型裁判。

GRPO（Group Relative Policy Optimization） 是 DeepSeek 提出的策略优化算法，作为 PPO 的简化替代。它针对同一个提示词采样一组（例如 8 或 16 个）回答，用组内平均奖励作为基线，把概率质量推向得分高于组均值的样本、压低低于均值的样本。相比 PPO，GRPO 去掉了价值网络（critic），显存占用和工程复杂度都显著下降，同时天然适配「同一问题多个回答、奖励可比较」的场景。在欺诈场景中，每个提示词对应一笔交易，采样多个风险等级输出，用最终拒付结果验证哪个等级正确，正好与 GRPO 的假设契合。

为什么用金额加权召回而非仅看 F1

F1 统计事件数量。漏掉一笔 5000 美元的提现和漏掉一笔 12 美元的卡测试计数相同。金额加权召回问的是：你拦截了多少比例的欺诈金额。

Part 2 的核心观点是：模型可能只漏掉很少的交易，却漏掉了大量资金。Coinbase 的基准包含 16,140 笔交易、7,293 个用户、813 例确认欺诈，取自智能体上线前九周，确保智能体自身的拦截不会影响观测结果。结果发现，较新的 Opus、Sonnet 和 GPT 版本在召回率、F1 和金额加权召回上都不如前一版本。

F1 分数是精确率和召回率的调和平均，衡量的是「事件计数层面」的分类质量。它把每一笔交易视为等权样本，因此对少数类（欺诈）的召回和对多数类（正常）的精确同等重要。F1 的局限在于它假定所有错误的代价相同，而这在风控、医疗筛查、异常检测等场景中几乎从不成立。金额加权召回（amount-weighted recall） 把每个欺诈样本按涉及金额加权，问的是「你拦截了全部欺诈金额中的多大比例」。当欺诈样本的金额分布极度长尾时（大部分欺诈是几美元的卡测试，少数是大额提现），两者可能指向完全不同的模型。实践中通常还需配套跟踪 金额加权精确率 或等价的「误封合法金额」，因为只优化召回会鼓励模型无差别封禁。这一指标类别也常被称为「业务加权指标」或「成本敏感指标」，在 Kaggle 的 IEEE 欺诈检测竞赛、支付风控线上监控中都有成熟用法。

笔记本规模的模式验证

作者用约 200 行 Python 写了一个合成数据版本（种子 18）：600 笔交易，47 笔标记欺诈，总金额 68,484.50 美元。上游规则先做拦截，路由选择 579/600 进入审查。审查器只返回类似 RISK_LEVEL: 4 的字符串，外部代码用严格正则解析，等级 ≥ 4 时封禁。

在小规模测试中暴露了几个值得注意的现象：

F1 和金额加权召回选了不同的赢家。 速度审查器抓住了 24/29 的卡测试，但对上游放行的提现一笔都没拦住。上下文审查器抓住了 12/12 的提现（金额召回 0.979），但误封了 49,411.22 美元的合法交易。单一指标都不够，必须同时跟踪精确率和误封合法金额。

通用小模型在此场景没有增益。 LiquidAI 的 d1-omni-600M 在 CPU 上运行，用自然语言描述每笔交易，新增了 18 次封禁，全部是误报。召回率停留在上游的 0.319。

类别平衡奖励抓住了偷懒策略。 “始终输出 RISK_LEVEL: 1”的普通准确率高达 0.922，但平均奖励为 −0.000。

仅有封禁权限限制了方向，但不限制伤害。 一个故意有 bug 的审查器输出 RELEASE、RISK_LEVEL: 9 和散文，导致 344 次解析错误。所有上游封禁都保持不变，但它仍然随机新增了 111 次封禁，其中 104 次是合法交易。需要对封禁率设置告警。

什么时候不该复制这套方案

没有可信标签。 RLVR 的效果取决于结果标签的质量。如果欺诈确认缓慢、有噪声或缺失，奖励就变成了猜测。

交易量低。 Coinbase 的基准单独就有 813 例确认欺诈。如果你只有几十例，用带固定评估集的提示词方案更便宜也更容易推理。

策略每周变化。 自然语言指南可以不改模型就调整。烘焙进权重的策略做不到。如果规则变化快于重新训练和评估的速度，把策略留在提示词和外部代码中。

没有生命周期负责人。 需要在领域结果上评估，对权重、提示词和策略统一版本管理，并保持经过测试的回滚方案。

提示词工程方案 指把审查策略、交易历史、判定标准全部写进系统提示词，让通用大模型直接输出判断，不改动任何权重。它的优势是策略迭代快——修改提示词即可上线，无需数据标注、训练和评估周期；缺点是对模型推理成本和延迟的依赖较强，且行为边界完全由模型自行把控。当欺诈样本只有几十例、策略每周变化、或团队没有能力维护 RL 训练管线时，提示词方案通常更经济。与之相对，权重微调方案 把策略固化进模型参数，推理时提示词更短、行为更稳定，但每次策略更新都需要一轮新的数据标注、训练和回归评估。文章提出的判断标准是：策略变化的频率能否低于重新训练和评估的速度。如果答案是「不能」，就把策略留在提示词和外部代码中，只让模型输出一个窄标签。

本周就可以开始的四步

1. 冻结一个在模型介入决策之前的标记评估集
2. 让模型只返回一个可解析的 token，策略放在代码里
3. 每个候选方案都按精确率、召回率、F1、金额加权召回和误封合法金额打分
4. 然后才考虑强化学习。你需要的奖励函数已经在评估框架里了

这套方法论的核心洞察不是“用小模型替代大模型”，而是“把决策权从模型手中拿走”。模型只负责一个窄任务——输出风险等级，其余全部由确定性代码控制。这种架构让可验证奖励成为可能，也让系统行为可审计、可回滚。