微软疑似确认OpenAI GPT-6采用循环Transformer架构

一则被迅速删除的微软网页引发热议

Reddit上一则讨论近日引发AI社区广泛关注：有用户发现微软在一个公开可访问的网页上，疑似确认了OpenAI在GPT-6系列模型中采用了**循环Transformer（Looped Transformers）**架构。这一信息若属实，将为此前The Information的相关报道提供佐证。

需要强调的是，该网页信息随后被微软移除，发帖者在更新中明确指出"Microsoft updated the web page to remove it"。因此，这一消息目前仍停留在社区观察与推测层面，并未得到官方正式声明背书。读者在评估时应保持审慎。

什么是循环Transformer

循环Transformer是近年来在模型架构研究中受到关注的一个方向。与标准Transformer在前向推理时让数据单次流经各层不同，循环架构允许模型在相同的权重层上进行多次迭代（loop），从而在不显著增加参数量的前提下提升模型的"有效计算深度"。

这种设计的核心思路是用计算量换取推理能力——通过重复利用同一组权重进行多轮处理，模型可以在复杂推理任务上获得类似于更深网络的表现，同时控制存储模型所需的参数规模。对于追求推理能力提升的下一代大模型而言，这是一条颇具吸引力的技术路径。

循环Transformer的学术根源可追溯至对Transformer表达能力的理论研究。研究者发现，标准Transformer的层数决定了其能够模拟的计算步骤上限，而通过权重共享的循环结构，模型理论上可以模拟任意深度的计算图，接近图灵完备。DeepMind、CMU等机构发表的多篇论文（如Universal Transformers）已验证了这一方向的可行性：在算法推理、数学题等需要多步骤思考的任务上，循环架构相比同参数量的标准Transformer往往有显著优势。

值得注意的是，循环次数本身可以在推理阶段动态调整，这意味着同一模型可以根据任务难度「按需分配」计算量——简单问题快速通过，复杂问题多迭代几轮。这种特性与近年来兴起的自适应计算（Adaptive Computation）思路高度契合，也是其被认为适合构建「不同能力档位版本」的技术基础。

帖子中的关键技术细节

根据该Reddit帖子的描述，几个值得关注的技术要点如下：

• GPT-6.1 Sol 使用2次推理pass，帖子中还提到了"instead of three"（而非三次）的表述，暗示不同模型版本可能采用不同的循环次数。
• 关于"same base model weights as GPT-6 Sol"这一表述，发帖者给出了自己的解读：微软的意思很可能是 GPT-6 与 GPT-6.1 都是在同一个预训练"base model"之上进行后训练（post-training）的产物，而非指两者的最终权重完全相同。
• 换言之，GPT-6 和 GPT-6.1 Sol 共享同一预训练基座，但采用了不同的后训练方案，并且在循环次数上有所差异（6.1 少一次循环）。

如果这一解读成立，那么循环次数可能成为OpenAI在同一基座模型上衍生不同产品版本的一个调节维度——通过改变推理时的迭代次数，在计算成本与模型能力之间灵活取舍。

为何这一消息值得关注

从行业视角看，这则传闻的意义在于它可能揭示了头部实验室在架构演进上的实际选择。过去很长一段时间，大模型能力提升主要依赖参数规模和训练数据的扩展。而循环架构代表的是一条不同的思路：在推理阶段投入更多计算，以换取更强的推理表现。

这与近年来"推理时计算（test-time compute）"的趋势相呼应。如果OpenAI确实在GPT-6系列中部署了循环Transformer，那么同一基座、不同循环次数的策略，意味着厂商可以针对不同场景（如追求速度的轻量版本与追求能力的旗舰版本）灵活配置模型，而无需从头训练多个独立模型。

「推理时计算（test-time compute）」是指在模型推理阶段而非训练阶段投入更多算力以提升输出质量的策略。OpenAI的o1/o3系列模型通过延长思维链（Chain-of-Thought）生成已经验证了这一路径的有效性，而循环Transformer可以视为在架构层面对同一思路的原生实现——区别在于，思维链扩展是在token序列维度增加计算，循环架构则是在网络深度维度反复处理同一隐状态。两者并不互斥，理论上可以叠加使用。如果GPT-6确实采用循环架构，这意味着OpenAI可能在模型设计层面就将「可扩展的推理时计算」内嵌进去，而不仅仅依赖提示词工程或解码策略层面的技巧。

保持理性：这仍是未经证实的社区观察

必须再次提醒的是，本文所依据的全部信息来自单一Reddit帖子，其核心证据（微软网页）已被删除，无法二次验证。发帖者对"base model weights"等表述的解读也属个人推测。

在OpenAI或微软给出正式说明之前，关于GPT-6采用循环Transformer的说法应被视为待证实的行业传闻，而非确定事实。不过，这类社区发现往往是观察前沿技术动向的早期信号，其背后反映的架构趋势——循环计算与推理时扩展——确实是当前大模型研究的真实热点，值得持续跟踪。