AI思考链不等于人类推理：研究揭示LLM推理token的真相

引言：中间token不是"思考"

当我们看到大语言模型（LLM）在回答问题前生成一大段"思考过程"（thinking/reasoning tokens）时，很容易产生一种错觉——AI正在像人类一样进行逐步推理。这种拟人化的解读几乎成为行业共识：模型"思考得越多"，答案就越可靠；如果推理过程冗长，我们便说它"想太多"（overthink）。

这种共识并非空穴来风，而是根植于一条清晰的技术演进脉络。2022年Google Brain团队提出的思维链（Chain-of-Thought, CoT）提示技术发现，让模型在回答前生成中间推理步骤，能显著提升其在数学、逻辑等复杂任务上的表现。CoT的核心思想源于认知科学中对人类问题解决过程的观察——人类面对复杂问题时，通常会将其分解为多个中间步骤逐一解决。Jason Wei等人在论文中展示，仅通过在少量示例中加入中间推理步骤，就能让模型在GSM8K数学题集上的准确率从17.7%跃升至58.1%。这一发现催生了整个提示工程（Prompt Engineering）领域的繁荣，也为后来的推理时扩展奠定了理论基础。值得注意的是，CoT的有效性最初被归因于它"教会"了模型像人类一样分步推理，但这一归因本身正是本文讨论的研究所要挑战的对象。

2024年OpenAI发布o1模型后，"推理时计算"（inference-time compute）成为新范式：模型不再追求单次直接输出答案，而是通过生成大量中间token来"思考"，DeepSeek-R1、Claude的扩展思考模式等均沿此路线。推理时计算代表了AI能力扩展的一种全新思路——传统的扩展法则（Scaling Laws）聚焦于训练阶段，即通过增加参数量、数据量和训练计算量来提升模型能力；而推理时计算则将资源投入到推理阶段，让模型在生成答案时"花更多时间思考"。这一范式转变的经济学含义也很深远：训练是一次性成本，而推理成本随每次调用累积。OpenAI的o1模型每次回答可能消耗数千个中间token，单次API调用成本可能是传统模型的5-10倍，这使得理解这些中间token到底在做什么，不仅是学术问题，更是关乎数十亿美元商业决策的实际问题。

业界普遍将这些中间token的增加与能力提升建立因果联系，认为更长、更严密的推理链等于更强的推理能力。正是这一被广泛接受的因果假设，成为下文研究试图证伪的核心对象。

但一篇发表在OpenReview上的研究（论文链接）对这一叙事提出了根本性的质疑。研究的核心观点直白而尖锐：这些所谓的"推理token"，本质上与人类的推理毫无关系。

reddit source

人类的step-by-step推理是通往结论的逻辑阶梯，每一步都有语义意义。而LLM生成的中间轨迹（intermediate traces），更像是在扩充自己的prompt上下文——它们是一种计算辅助手段，而非可解释的思维过程。这也解释了为什么有时模型给出了极好的答案，但其"推理过程"却啰嗦、混乱甚至自相矛盾。

研究的五大核心发现

这项研究通过系统性地将"轨迹语义"与"底层问题"解耦，得出了一系列反直觉的结论。以下是最具冲击力的五点发现。

发现一：正确答案与有效推理无关

研究者观察到，解答的正确性与推理轨迹的有效性之间存在明显的不相关性。模型经常在推理轨迹完全无效（invalid）的情况下，依然得出正确答案。

这意味着，那段看起来逻辑严密的"思考链"，可能只是表面文章。答案的正确与否，并不依赖于这些中间token在语义上是否说得通。

发现二：用"错误轨迹"训练反而更强

这是全文最令人震惊的结论。研究发现，在被污染（corrupted）或语义无关的推理轨迹上训练的模型，其性能与在正确轨迹上训练的模型相当，甚至更优——尤其是在分布外（out-of-distribution）任务上。

换句话说，如果你故意用一堆"胡说八道"的推理过程去训练模型，它不仅没变笨，反而可能在陌生任务上表现更好。这直接动摇了"高质量推理数据带来高质量推理能力"的假设。

要理解这一发现的分量，需要认识到分布外（OOD）泛化是衡量模型真实能力而非死记硬背的关键指标——它指模型在训练数据分布之外的新场景上的表现。当模型在训练中见过大量类似的数学题并在测试中答对类似题目时，我们无法区分它是否真正"理解"了数学还是仅仅在做模板匹配。只有当模型面对训练分布之外的全新问题类型——比如从算术推广到符号推理，或从英文推理推广到代码调试——仍能保持高准确率时，我们才有更强的理由相信其具备某种泛化能力。本研究发现用错误轨迹训练的模型在OOD任务上反而更强，这暗示正确推理轨迹可能反而导致了某种"过拟合"——模型过度适配了特定的推理模板，而非学到了更通用的问题解决策略。

长期以来，AI行业存在一条近乎信仰的准则：训练数据质量决定模型能力，"garbage in, garbage out"（垃圾进，垃圾出）。为此各大厂商投入巨资构建高质量推理数据集，甚至用GPT-4等强模型合成"教科书级"的推理轨迹来蒸馏训练小模型。知识蒸馏（Knowledge Distillation）是当前AI行业的核心技术路线之一，其做法是用大型"教师模型"生成高质量的推理轨迹，然后用这些数据训练小型"学生模型"。微软的Phi系列、Meta的Llama训练策略都大量采用了合成数据，整个行业在高质量推理数据的生成和筛选上投入了数亿美元的资源。而本研究"错误轨迹也能训练出好模型"的发现，如果被进一步验证，可能意味着行业在推理数据质量控制上的大量投入存在资源错配——真正重要的可能不是轨迹的逻辑正确性，而是轨迹的结构特征（如长度、格式）或纯粹的计算扩展效应。

此外，本研究的发现与近年一些平行研究形成呼应——例如有工作发现随机或错误的推理格式仍能激发模型能力，暗示模型可能主要从"生成中间token"这一行为本身而非其语义内容中获益。

发现三：强化学习提升准确率，却未必改善推理有效性

后训练阶段的强化学习（RL）确实能在分布内和分布外任务上提升解答准确率，但它并不能持续改善推理轨迹的有效性。

研究甚至发现了这样的案例：对于在正确轨迹上训练的模型，强化学习在提升解答准确率的同时，反而降低了推理轨迹的有效性。准确率上升，推理却更"离谱"——这两者被彻底分离了。

这一现象从强化学习的机制上可以得到解释。现代推理模型的能力很大程度依赖后训练阶段的强化学习。以RLHF（基于人类反馈的强化学习）和RLVR（基于可验证奖励的强化学习）为代表，其做法是让模型生成答案后，根据最终结果的正确与否给予奖励信号，反向优化模型策略。这里存在一个核心矛盾——"过程奖励"（Process Reward）与"结果奖励"（Outcome Reward）之间的取舍。理想状态下，我们希望奖励模型的每一个推理步骤都是正确的（过程奖励），但这需要为每个中间步骤提供标注，成本极其高昂且需要领域专家。现实中，大多数系统——包括DeepSeek-R1和OpenAI的o1——主要依赖结果奖励：只要最终答案正确就给予正向奖励。这就产生了所谓的"信用分配问题"（Credit Assignment Problem）——模型不知道是哪些中间步骤导致了正确答案，因此可能学到各种"捷径"策略。

DeepSeek-R1的成功正是依靠对最终答案正确性的奖励，而非对推理过程本身打分。OpenAI曾在技术报告中承认，o1模型有时会在推理链中进行"回溯"和"自我纠正"，但这些行为是否真的是有效推理还是RL训练出的表面模式，正是本研究质疑的核心。也就是说，RL的优化目标是结果准确率，奖励信号并不直接约束中间推理的逻辑有效性，因此模型完全可能学会"走捷径"——用看似离谱却能导向正确答案的轨迹换取奖励，导致准确率与推理有效性彻底解耦。

发现四：污染轨迹模型的全面碾压

延续发现二的逻辑，那些用污染轨迹训练的模型在跨领域任务中持续优于用正确轨迹训练的对照组，同时它们生成的推理轨迹始终是无效的。

这进一步说明，推理token的有效性并非模型性能的来源。模型的能力来自其他机制，而非我们所理解的那种"逻辑推演"。那么这个"其他机制"可能是什么？一种假说认为，中间token的真正作用是为模型提供额外的计算层——Transformer在生成每个token时都会执行一次完整的前向传播，因此更多的中间token意味着更多次的前向传播计算，相当于动态地增加了模型的"有效深度"。这与神经网络中"更深的网络具有更强表达能力"的基本原理一致，只不过这种深度增加是在推理时通过序列长度实现的，而非通过架构设计。

发现五：轨迹长度与问题难度无关

最后，研究发现生成轨迹的长度在很大程度上与底层问题的难度无关。

这一点尤其重要。它直接反驳了"模型会根据问题难度自适应地调整计算量"（problem-adaptive computation）的流行说法。自适应计算的理念在深度学习中有着深厚的理论根基——从早期的自适应计算时间（Adaptive Computation Time）到后来的混合专家模型（Mixture of Experts），研究者一直希望模型能"知难而进"：简单问题少算，复杂问题多算。如果推理模型真的在这样做，那么中间token的数量应该与问题难度呈正相关。但本研究发现事实并非如此，模型生成的轨迹长度更多受到其他因素（如训练分布中的轨迹长度偏好、token采样策略等）影响，而非问题本身的复杂度。所以当我们说某个模型"overthink"（想太多）时，这个拟人化的描述本身就是误导——模型并没有在"思考"问题难不难，它只是在生成token。

为什么这件事很重要

拟人化叙事的危险

研究者的总结掷地有声：

"我们的研究表明，如果性能是目标，那么假设推理轨迹具有类人的或算法上可解释的语义是理想的、甚至是可实现的，不仅是不必要的，而且可能具有误导性。"

这段话点出了当前AI行业的一个认知陷阱。我们习惯于用人类的框架去理解模型行为——把中间token叫做"思考"，把冗长的输出叫做"想太多"，把简短的回答叫做"偷懒"。但这些拟人化的标签，可能让我们误判了模型真正的工作原理。这种认知偏差在AI安全和对齐领域尤其危险：如果我们基于"模型在思考"的假设来设计安全机制——比如通过审查推理轨迹来检测欺骗行为——那么当模型的实际决策机制与表面推理轨迹脱钩时，这些安全措施就形同虚设。

上下文膨胀是另一个独立问题

你可能没注意到，中间token导致的上下文窗口膨胀（flooding context window）或与压缩机制的冲突（fighting compaction），是完全不同的另一类问题。

上下文窗口是Transformer架构的核心约束之一，它决定了模型单次能处理的最大token数量。当推理模型生成数千个中间token时，这些token会占据上下文窗口的大量空间，压缩留给用户输入和系统提示的余量。更关键的是，Transformer的自注意力机制（Self-Attention）计算复杂度与序列长度呈二次关系，这意味着推理token数量翻倍，计算成本可能翻四倍。此外，KV缓存（Key-Value Cache）也会随中间token线性增长，对GPU显存造成巨大压力。在实际部署中，一些团队已经开始探索"推理token压缩"技术——在不影响最终答案质量的前提下，缩减中间token的数量。本研究的发现为这类优化提供了理论支撑：既然推理token的语义内容并非关键，那么激进的压缩策略可能是可行的。

"推理token不是真推理"这个认知，与"推理token占用了大量token预算"这个工程问题，需要分开讨论。前者关乎我们如何理解模型，后者关乎实际部署中的成本与效率。

对AI开发者的实用启示

对于构建AI应用的工程师而言，这项研究提供了几个关键视角：

不要过度信任推理轨迹的可读性。一段看起来合理的"思考链"，不代表答案更可靠；反之亦然。这对于将推理轨迹作为"可解释AI"（Explainable AI）依据的应用场景尤其重要——在医疗、金融、法律等高风险领域，如果我们依赖模型的推理轨迹来解释其决策，而这些轨迹实际上与决策机制脱钩，那么所谓的"可解释性"就是一个幻觉。
推理token更应被视为一种计算资源分配机制，而非可供人类审查的决策依据。从这个角度出发，优化推理效率的方向可能不是让推理"更正确"，而是找到最优的token数量与计算效果之间的平衡点。
在评估模型时，应关注最终答案的正确性，而非推理过程的"美观程度"。这也意味着当前一些基于推理过程质量的模型评估基准可能需要重新审视。

结语：回归对AI机制的诚实理解

这项研究并没有否定推理型模型（reasoning models）的价值——它们的性能提升是真实的。它否定的是我们解释这种提升的方式。

中间token确实有用，但它们的有效性并不来自其看似可解释的语义内容。当我们停止把这些token拟人化为"思考"和"推理"，转而将其理解为一种增强prompt、扩展计算的机制时，我们才能更准确地设计、评估和优化下一代AI系统。这种认知转变的影响是多方面的：对研究者而言，它指向了探索中间token真正作用机制的新方向；对工程师而言，它开启了更激进的推理效率优化空间；对决策者而言，它提醒我们在AI治理和安全评估中不能简单地将模型输出的"推理过程"等同于其内部决策逻辑。

正如那句被广泛引用的话所说：把模型当成人来理解，往往是最省事、也最危险的捷径。