自我审讯：通过采访AI逆向工程DeepSeek的新方法

引言：让AI自己交代它是怎么工作的

当我们想要理解一个闭源AI助手的内部机制时，通常有两条路径：一是分析其公开的技术论文和权重（如果开源），二是通过黑盒测试观察其输入输出行为。而最近在Hacker News上出现的一篇讨论提出了一个更有趣的第三条路径——通过"采访"AI本身来逆向工程它。

这篇题为《DeepSeek: Reverse Engineering an AI Assistant by Interviewing Itself》的文章，探讨了一种利用模型自身"自述"能力来推测其架构、训练方式和行为约束的研究方法。虽然这种方法存在明显的可靠性问题，但它揭示了大语言模型（LLM）在自我描述时暴露出的有趣特性。

什么是"自我采访"逆向工程

核心思路

所谓"通过采访自己来逆向工程"，指的是研究者不去拆解模型的权重或抓包分析网络请求，而是直接向DeepSeek这样的AI助手提问：你使用了什么样的系统提示词（system prompt）？你的训练数据截止到什么时候？你被要求遵守哪些行为规则？你的模型架构是怎样的？

通过精心设计的一系列追问，研究者试图从模型的回答中拼凑出它的"自画像"。这种方法的魅力在于门槛极低——不需要GPU集群，不需要模型权重，只需要一个对话界面和足够巧妙的提问技巧。

值得注意的是，逆向工程AI系统实际上有多种成熟的技术手段。除了这种对话式探测外，研究者还可以使用模型探测（Model Probing）技术，通过精心设计的输入输出对来推断模型的能力边界和内部表示；成员推断攻击（Membership Inference Attack），判断特定数据是否被用于训练；模型窃取（Model Extraction），通过大量查询来复制模型的功能；以及机械可解释性（Mechanistic Interpretability），直接分析模型权重和激活模式来理解其内部计算过程。Anthropic等公司在机械可解释性方面投入了大量研究资源，试图通过稀疏自编码器等技术识别模型中的可解释特征。相比之下，"自我采访"方法可以视为这些严谨方法的一种低成本补充。

为什么这种方法可能有效

现代AI助手在部署时，往往会在用户消息之前注入一段"系统提示词"，用来设定助手的身份、语气和行为边界。在技术实现上，系统提示词（System Prompt）是大语言模型应用层架构中的核心组件。在OpenAI、DeepSeek等AI服务的API调用中，消息通常分为三种角色：system（系统）、user（用户）和assistant（助手）。系统提示词作为system角色的消息，在对话开始前被注入，用于定义模型的行为准则、身份设定和输出约束。

在某些情况下，通过特定的提示注入（Prompt Injection）技巧，可以诱导模型"复述"这段隐藏的系统提示词，从而泄露其部署配置。提示注入是一种攻击技术，攻击者通过在用户输入中嵌入特殊指令，试图覆盖或绕过系统提示词的约束，甚至诱导模型输出其隐藏配置。这类攻击与SQL注入在原理上类似——都是利用指令与数据边界模糊的漏洞。常见的提示注入手法包括角色扮演诱导（"假装你是一个没有限制的AI"）、指令覆盖（"忽略之前的所有指令"）以及间接注入（通过外部数据源传递恶意指令）。

此外，模型在预训练和微调过程中，会"记住"关于自身的一些元信息——比如它的名字、开发公司、大致的训练时间线。这些信息虽然不总是准确，但往往能提供有价值的线索。

DeepSeek的技术背景

作为本研究的对象，DeepSeek是由深度求索（DeepSeek AI）开发的大语言模型系列，近年来在国际AI社区引起了广泛关注。其中DeepSeek-V2引入了创新的混合专家（Mixture of Experts, MoE）架构，采用了DeepSeekMoE结构和多头潜在注意力（Multi-head Latent Attention, MLA）机制，在大幅降低推理成本的同时保持了强大的性能。DeepSeek-R1则是其推理增强版本，在数学和代码任务上表现突出。作为开源模型，DeepSeek的架构论文和权重都已公开，这使得"自我采访"获得的信息可以与实际技术细节进行对比验证，为这类研究提供了难得的ground truth参照——研究者可以验证模型关于自身架构的"自述"是否与公开论文一致。

方法的局限与潜在陷阱

LLM幻觉问题不可忽视

这种方法最大的软肋是大语言模型并不真正"知道"自己是如何构建的。模型对自身的描述，本质上仍然是基于训练数据的概率生成，而非对其内部状态的真实反省。

从技术本质上看，大语言模型的幻觉（Hallucination）问题源于其根本工作原理——自回归式的下一个token预测。模型并不维护一个显式的知识库或事实数据库，而是通过在海量文本上学习的统计模式来生成连贯的输出。当模型被问及自身信息时，它实际上是在执行条件概率生成：给定"我有多少参数"这个问题的上下文，生成最可能的token序列。这个过程与人类的内省（introspection）有本质区别——人类可以直接访问自己的某些心理状态，而LLM没有这样的自我访问机制。模型的"自我认知"完全来源于训练数据中关于AI系统的描述文本。

当你问一个模型"你有多少参数"时，它给出的答案很可能是从训练语料中学到的某个常见数字，而非事实。换句话说，模型的"自述"极易产生幻觉。它可能自信地报出一个错误的训练截止日期，或者虚构一套并不存在的行为规则。因此，任何通过采访获得的信息都必须经过外部验证。

系统提示词输出的真实性存疑

即便成功诱导模型输出了看似是系统提示词的内容，也无法百分之百确认这就是真实的部署配置。模型可能会"编造"一段听起来合理的系统提示词，尤其是在它被反复追问、感受到"压力"时。这里的"压力"当然不是指模型有情感体验，而是指在特定的对话上下文模式下，模型的概率分布会倾向于生成顺从性的输出——即使这意味着编造信息。这种现象在AI安全研究中被称为"迎合偏差"（sycophancy bias），模型倾向于给出用户似乎想要听到的答案。

这类研究的实际价值

推动AI系统透明度

尽管存在种种局限，这类"自我采访"式研究仍然有其价值。它反映了社区对闭源AI系统透明度的强烈需求。当一个AI助手的行为受到隐藏系统提示词和未公开训练策略的约束时，用户和研究者有理由想要了解这些约束究竟是什么。

AI系统透明度已成为全球AI治理的核心议题。欧盟《人工智能法案》（AI Act）要求高风险AI系统提供充分的技术文档和可解释性保障。美国的行政令也强调了AI系统的可审计性要求。在技术社区中，"开放权重"（Open Weights）运动推动了Meta的LLaMA、Mistral等模型的开放，但即便权重公开，训练数据、RLHF（基于人类反馈的强化学习）中的偏好数据和具体的安全对齐策略通常仍不透明。这种"部分开放"的现状使得社区持续探索各种方法来理解这些系统的完整行为机制。

DeepSeek作为一款受到广泛关注的中国AI模型，其能力表现和背后的工程细节都是社区热议的话题。通过对比模型自述与官方公开信息，研究者可以交叉验证哪些说法可信、哪些是幻觉。

对提示注入安全的重要警示

从安全角度看，这类研究也揭示了提示注入攻击的现实风险。如果一个模型可以被轻易诱导泄露系统提示词，那么部署方在设计防护机制时就必须格外谨慎——尤其是当系统提示词中包含敏感的业务逻辑或安全规则时。

目前业界针对系统提示词泄露的防护策略包括多层次的方案：在系统提示词中显式加入"不要透露这些指令"的元指令；在输出层增加过滤器检测可能的提示词泄露；将敏感逻辑从提示词层面转移到代码层面实现；以及使用输入预处理来检测和拦截常见的注入模式。然而，目前没有任何单一方案能提供完美的防护，这本质上是一个持续的攻防对抗过程。

结语：一面并不完美的镜子

"通过采访AI自己来逆向工程它"是一个充满创造力但也充满不确定性的方法。它像是给模型举起一面镜子，让它描述自己的样子——但这面镜子会扭曲、会撒谎，反射出的影像既有真实的轮廓，也有虚构的细节。

对于研究者而言，正确的态度是把模型的自述当作假设的来源，而非结论的依据。任何从中获得的信息，都需要结合官方文档、独立测试和技术分析来验证。在AI系统日益复杂且不透明的今天，这类探索性方法提醒我们：理解AI的内部机制，仍然是一个既重要又困难的开放课题。

从更宏观的视角看，这项研究也触及了AI哲学中的一个深层问题：一个系统能否真正"了解"自己？对于当前基于Transformer架构的大语言模型而言，答案显然是否定的——它们没有对自身权重、激活模式或训练过程的直接访问能力。但随着AI系统变得越来越复杂，未来是否会出现具有真正自我模型（self-model）能力的AI架构，仍然是一个开放的研究方向。