字符级Transformer生成URL：最逼真≠最有用？

为什么需要合成URL数据？

钓鱼检测器需要大量训练数据，但真实的钓鱼数据稀缺且快速过时——几天内就可能失效。Reddit 用户 youssefismail-dev 为此训练了一个字符级 Transformer，专门生成合成 URL。模型参数量 25.5M，从零开始训练，不使用预训练模型或模板。项目代码、权重和完整评估已以 Apache-2.0 协议开源，供防御性研究使用。

reddit source

如何衡量“逼真度”：一个比建模更难的题

作者原本想用一个分类器来评判生成 URL 的真实性，目标 AUC 为 0.5。但现实是：两个真实 URL 样本互评也达不到 0.5。于是，他设计了一套更细致的评估方法：对每个 URL 字段（域名、后缀、子域名、路径、查询串）按类别评分，计算其相对于“真实 vs 真实”基线的超额值。在 32 项检查中，有 29 项通过。不过，模型仍有明显弱点：一个检查每个单词是否在真实数据中出现的检测器，能够识别出模型编造的词汇；在自由模式下，钓鱼查询字符串也可被检测到。

AUC（Area Under the Curve，曲线下面积）在二分类评估中通常指 ROC 曲线下的面积，取值范围 0 到 1。0.5 相当于随机猜测，1.0 表示完美区分。在“判断合成 URL 是否逼真”的任务中，若一个分类器无法区分真实与合成样本，其 AUC 应接近 0.5。然而，作者发现两个真实 URL 样本集互评时 AUC 也低于 0.5，这说明真实数据本身存在分布差异，直接使用 AUC 作为逼真度标尺并不可靠。为此，作者转向更细粒度的字段级评分，并引入“真实 vs 真实”基线来校正这种天然偏差，从而更公平地衡量生成样本与真实样本的接近程度。

核心实验：预注册问题——数据对检测器有帮助吗？

作者预注册了最关心的问题：合成数据能否提升检测器的性能？在 6 种设置下，加入合成数据均提升了 1% 误报率下的召回率。与表现最好的简单生成器相比，在主测试集上，该模型在 6 项中有 5 项领先，优势为 0.7 到 2.5 个百分点，且测试可证明其中 1 项的差距。

意外发现：逼真度与实用性并不等同

然而，在另一个测试集 PhreshPhish 上，结果反转了：由提示词驱动的 7B 大语言模型生成的 URL 在 6 项中有 4 项更有帮助，尽管这个 LLM 是所学习的生成器中最不逼真的。据作者表示，他目前还没有完全解释这一现象。这提示我们：生成数据的逼真度与其实用价值可能并不一致，评估合成数据时不能只看逼真度。

PhreshPhish 是一个用于钓鱼 URL 检测的公开基准数据集，其特点是包含较新的钓鱼样本，常用于评估模型对未见攻击模式的泛化能力。与主测试集相比，PhreshPhish 的分布可能更贴近现实中的概念漂移场景——钓鱼手法随时间演变，旧数据训练的检测器容易过时。因此，在该测试集上的表现更能反映合成数据是否真正增强了检测器对新型威胁的鲁棒性。作者观察到提示词驱动的 7B LLM 生成的 URL 虽逼真度最低，却在 PhreshPhish 上带来更大提升，这可能是因为 LLM 生成的多样性更高，覆盖了更广泛的潜在攻击模式，而非单纯模仿真实样本的表面特征。