DarKnight：用本地小模型破解暗网验证码的智能体框架

暗网市场为了阻挡自动化爬虫，普遍部署了种类繁多的 CAPTCHA 验证码。对于从事网络威胁情报（CTI）的调查人员来说，这构成了一个现实障碍——他们需要持续监控泄露凭证和入侵事件列表，却不得不先过这道验证关。现有方案要么针对每个站点单独微调模型，规模上难以为继；要么调用商业视觉语言模型（VLM）API，代价是丧失操作自主权。

商业 API 的隐性代价

调用商业 VLM API 看似省事，却把关键控制权交了出去。提供方的政策变更、对 Tor 出口节点的封禁、政府监管要求，甚至模型本身的版本更新，都可能在调查人员无法干预的情况下让求解器一夜之间失效。此外，按调用次数计费的模式意味着每一次会话和重试都在产生费用，长期监控的成本会持续累积。

对于一个需要在暗网环境中保持低调和持续运行的调查系统来说，这种依赖性本身就是风险。

CAPTCHA（全自动区分计算机和人类的图灵测试）是一类通过生成人类易于解答、自动化程序难以处理的挑战来区分访问者身份的技术。在暗网市场场景中，常见形式包括扭曲字符识别、滑块拼图、点击特定目标图像以及 Cloudflare 风格的 Turnstile 等。对爬虫而言，CAPTCHA 不仅是识别障碍，更是速率限制与访问控制的一环；求解失败往往意味着会话被重置，进而增加请求开销并提高被标记的风险。

DarKnight 的核心思路：检索引导的智能体

DarKnight 是一个自我改进的智能体框架，设计目标是在调查人员自己的 Tor 爬虫环境内，用单张工作站 GPU 运行本地托管的开源权重 VLM，不依赖任何第三方服务，也不需要针对每个市场单独训练。

据原文描述，其工作流程包含几个关键环节：

双信号 RAG 检索

面对一张新的验证码图片，DarKnight 会先检索历史上在相似图片上的成功和失败尝试记录。成功经验告诉它什么策略有效，失败记录则帮助它避开已知的陷阱。这种同时利用正负信号的检索机制，是框架自我改进能力的基础。

图像特定的预处理流水线

框架会根据当前图片的特征，动态组合出一套针对性的预处理方案，而不是对所有图片套用同一套流程。这一点在后文的数据中得到了验证——选择性地使用工具，比统一预处理能保留更多有效信息。

基于站点反馈的学习

每次尝试后，站点返回的通过或失败判定会被框架吸收，用于后续决策的调整。

检索增强生成（RAG） 是一种将外部知识检索与生成模型结合的方法：模型在给出答案前，先从知识库中取回与当前输入相关的条目作为上下文。DarKnight 采用的是双信号变体——检索对象既包含历史成功案例，也包含失败案例，使模型在推理时能同时获得“该怎么做”与“不该怎么做”的约束。相较于仅依赖模型参数中的先验知识，RAG 让系统可以随运行过程不断积累站点特定经验，这也是其自我改进能力的关键来源。

实测结果：工具选择胜过参数规模

研究团队在四个真实暗网市场上进行了案例研究，得出的核心结论是：智能体的工具选择能力，比单纯扩大模型参数更有效。

在一个防御最严密的市场上，一个可部署的开源权重 VLM 配合 DarKnight 达到了 83.2% 的通过率，比其基础模型高出 37.2 个百分点。这个成绩甚至超过了前沿商业模型 Claude Opus 5 在该任务上的 44%。

另一个值得关注的数字是：DarKnight 在 7.6% 的性能退化代价下，恢复了 48.2% 的基线失败案例。这说明选择性地使用预处理工具，可以避免统一预处理带来的大部分负面效果。

开源权重 VLM 指模型参数可公开下载并在本地部署运行的视觉语言模型，例如 Qwen2.5-VL、InternVL 等系列。与商业 API 不同，开源权重模型不依赖网络调用，推理过程完全在本地 GPU 上完成，因此不受提供方政策、限流或审查影响。不过，这类模型通常参数规模较小，在复杂任务上的零样本能力可能弱于前沿闭源模型；DarKnight 的贡献正是通过检索与工具编排，让较小的开源模型在特定垂直任务上追平甚至超越大模型。

对威胁情报工作的意义

DarKnight 的价值不只在于技术指标。它回应的是一个实际需求：调查人员需要在不放弃操作自主权的前提下，持续、可控地收集暗网情报。本地运行、开源权重、单卡 GPU 的设定，让整个系统处于调查人员自己的掌控之中，不会因为外部决策而中断。

从方法论角度看，这项工作也提示了一个更广泛的思路——在特定垂直任务上，检索引导的智能体框架配合小模型，可能比直接调用大模型 API 更具实用性和可持续性。