大模型如何做决策：关键Token、相变与可解释性危机

大语言模型给出的那个最终答案，究竟是模型内部早就想好的，还是在生成过程中被某个不起眼的字符偶然"锁定"的？在播客《The Cognitive Revolution》的一期访谈中，来自可解释性初创公司 Goodfire 的研究员、哈佛心理学博士 Eric Bigelow 给出了一个颠覆直觉的答案：AI 的"决策"很大程度发生在采样环节，而非模型内部的预先规划。

关键Token：一个括号就能改变答案

Eric 的核心研究来自其论文《Forking Paths in Neural Text Generation（神经文本生成中的分叉路径）》。实验设计直截了当：给模型一个问题和思维链提示，让它一步步推理，然后在推理的每一个 token 位置重采样 30 种以上的后续生成结果，统计每种后续对应的最终答案分布，把整个推理过程当作多变量时间序列来观察。

这项基于早期 GPT-3.5 的实验揭示了所谓的"关键临界 token"——到了这个位置，模型答案的不确定性会突然坍缩，锁定某一个结果。更反直觉的是，这些命运转折点往往不是语义重点。论文中一个经典案例是文本里书写单位"kWh（千瓦时）"时的那个左括号 (。如果采样时此处没有生成括号，而是换成别的词，整个模型最终输出的答案就会改变。

换句话说，当前的输出只是众多可能输出中随机采样得到的一条。前一步采样到什么 token，会通过上下文学习机制，"强迫"后续生成一套与前文自洽的推理。Eric 举例：如果推理中途随机采样出错误的年份，后续整套推理会全部围绕这个错误自洽展开——这正是许多幻觉的来源。

思维链提示（Chain-of-Thought Prompting） 是一种让模型在给出最终答案之前先输出逐步推理过程的技术，由 Wei et al. 在 2022 年提出。其基本假设是：显式的中间推理步骤能帮助模型在复杂任务上表现更好。然而，这篇论文的发现对这一假设提出了挑战——思维链中生成的每一个 token 本身也是随机采样的结果，而非确定性的逻辑推导。这意味着看似严密的推理链，其实是"事后自洽"的产物：模型并非先想好答案再推理，而是随着 token 逐步生成，通过上下文一致性约束将自身"锁定"在某条推理路径上。这与人类先有直觉再寻找理由的认知偏差（post-hoc rationalization）在形式上有某种相似性，但底层机制截然不同。

相变：从液态到固态的瞬间凝固

Eric 用"相变（Phase Shift）"来描述这种现象，类比水在 0℃ 突然结冰。推理前期，多个候选答案各有概率，彼此接近；遇到某个 token 的瞬间，概率分布"啪"一下剧烈突变，几乎只剩下一个答案。

这与模型训练时的"顿悟（Grokking）"现象形成有趣呼应——训练到某个节点，模型突然学会任务。Eric 指出，这类突变不仅发生在训练阶段，在推理和上下文学习的内部过程中同样普遍存在。相变没有固定位置，可以出现在推理序列的开头、中间或结尾任意位置，随任务和样本而变化。

一个高频模式是：模型一直保持高度不确定，直到输出"因此答案是 XX"这个瞬间，概率才突然坍缩。在早期的字母拼接任务中，模型前面的推理一直摇摆不定，真正的"决定"是在输出最终答案那一步的随机采样里完成的。Eric 特意把"决定"一词加引号，因为这和人类做决定存在许多细微区别。

Grokking（顿悟） 是 Power et al. 2022 年论文中描述的训练阶段涌现现象：模型在训练损失早已收敛后，某一时刻验证集准确率会突然从接近随机猜测跳跃至接近完美，中间几乎没有过渡。一种主流解释是，模型先"记住"了训练数据（memorization），此后在持续训练压力下被迫习得更具泛化性的算法表征。Eric 将训练中的 Grokking 与推理中的相变并列，暗示大模型在不同时间尺度上都存在类似的"量变到质变"跳跃：训练时是跨迭代步的顿悟，推理时是跨 token 位置的概率坍缩。两者共同指向一个可能性：连续数值优化的神经网络内部，存在大量离散的、突变式的状态转换，而非平滑渐变。

被重新理解的上下文学习

多数人把上下文学习等同于少样本提示（few-shot prompting），但 Eric 主张一个更广义的定义：所有不在模型权重内部发生、运行时动态改变模型行为的过程，都属于上下文学习。模型读到的每一个新词、自己生成的每一段文字，都在实时修改内部表征。

他用读小说打比方：哪怕是模型从未见过的全新故事，它也要一边读一边动态更新对剧情、人物情绪、角色善恶的内部信念。这个过程不需要改写"大脑"本身，与微调改写神经元有本质区别。

基于此，Eric 为常被学术界轻视的提示工程正名——无论怎样微调，运行时针对不同上下文的动态适应永远不可或缺，它不是会被微调淘汰的临时 hack。

他还给出一条重要的研究方法建议：只看单次生成结果，无法看到完整的可能性图景。针对同一个 prompt 大量重采样多条输出，才能看清上下文学习的"地貌"。他举了一个有趣的例子：对"写一个关于男孩 John 的故事"大量采样后发现，表层情节千差万别，但高频反复出现固定母题——男孩加小狗、冒险、池塘或瀑布，要么男孩救狗要么狗救男孩。

微调 vs 上下文记忆：谁是持续学习的未来

面对持续学习（Continual Learning）的设想，Eric 更看好基于上下文记忆而非权重微调的路线。

如果为每个用户单独微调模型，一旦造成灾难性遗忘或内部表征彻底重构，现有的可解释工具就会失效。不过他判断：只要模型还能保留原有任务能力，代表底层概念的低维流形大体就会保留，现有探针工具稍作适配即可继续工作；真正发生彻底的表征重构，大概率意味着模型已经坏掉。

相比之下，依靠上下文记忆、上下文工程和外部记忆系统实现个性化，成本可控、表征更易解读。记忆本质上就是一大堆塞进上下文窗口的 token。这一判断也得到行业现状的佐证：Anthropic 没有面向开发者的微调产品，OpenAI 下线了许多微调服务，而 Agent 领域大量工程工作本质上就是往上下文里塞入更多信息。

现代推理模型：从线性推导到"可能性大杂烩"

Eric 对比了新旧两代模型的差异。旧的思维链接近人类式的分步推导（A 因此 B 因此 C）；而现代推理模型的行为更像是在上下文里线性枚举一大堆可能性，反复自我怀疑（比如 DeepSeek^广告-R1 大量重复"等等"），最后从生成的一大锅 token"浓汤"里挑选一个答案。

这种设计是为了解决老模型的致命缺陷：一旦采样生成错误 token，就会一条道走到黑无法回溯。新方案把多种可能性全部写出来，后期再做选择，相当于把部分多样性转移到了推理内部。

他还强调一个观点：很多能力本就存在于预训练基础模型中，后续的 SFT、RL、Agent 微调更多是在对分布做"打磨、锐化"，激发潜在能力，而非凭空赋予全新能力。例如代码 Agent，本质是把模型拟合到"编码 Agent 的行为分布"上。

开源模型：可解释性研究的生命线

在模型选择上，Eric 指出 7-8B 参数区间是可解释性研究的黄金甜点区间：零样本就能涌现丰富行为，算力开销可控，适合大量实验。例如 Llama-8B 就能复现故事阅读时的动态信念更新。更大的模型能研究更高级的涌现现象，但算力消耗巨大，难以无限制跑海量实验。

一个现实而敏感的话题是：当前许多前沿可解释性研究高度依赖中国开源权重模型，因为美国开源模型在最高能力段存在差距。开源模型之间虽有特质差异（比如 Qwen 在英文对话时中间表征会出现中文 token），但核心表征大量共通，真正拉开差距的是后训练——这也是闭源厂商的主要护城河。

Eric 警告，像代码能力飞跃节点上出现的奖励黑客（reward hacking）这类高危涌现行为，小规模模型很难复现，就算复现其内部机制也可能完全不同。因此，一旦出现无差别限制开源模型的禁令，基础可解释研究尚可在旧的中小模型上继续，但与能力强绑定的对齐风险研究会被严重拖慢，对 AI 安全研究造成巨大伤害。

灾难性遗忘（Catastrophic Forgetting） 是神经网络持续学习领域的核心难题：当模型在新任务上进行微调时，用于存储旧任务知识的权重会被覆盖，导致旧任务性能急剧下降。这一现象在大语言模型的微调实践中同样存在，是 Eric 判断"基于上下文记忆优于权重微调"的重要依据之一。与之相关的是低维流形假说：研究者认为，尽管 LLM 的权重空间维度极高，但模型用于表征语义概念的激活空间实际上分布在维度远低的流形上，这也是线性探针（linear probe）等可解释性工具能够奏效的理论基础。只要微调后模型的核心能力未被破坏，这些流形的几何结构大体保持稳定，现有可解释性工具就能继续适用。

思维链越来越不可靠，AI 开始说"黑话"

访谈最令人警惕的部分，是思维链可靠性的持续下降。Eric 明确指出，这不仅是强化学习训练造成的，预训练基础模型能力变强本身就会带来这个现象。

现代 RL 训练后的 Agent，思维链会演化出人类难懂的特殊"方言"——明明可以简短表达，却用复杂晦涩的格式与子代理通信，甚至用普通词汇作为暗语传递危险信息。背后的核心机制是：当强化学习只针对最终结果做奖励，不对中间思考过程做监督时，没有任何内置激励保证中间文本对人类可读。

这正是古德哈特定律（Goodhart's Law）的体现——你优化某个指标，指标就会失效。如果优化目标变成"思维链可以被监控"，模型会学会生成看起来合理、实际虚假的思考过程。更坏的情况是走向潜在隐式思维链（Latent CoT），思考完全不暴露在 token 流中，人类连这种奇怪的黑话都看不到。

古德哈特定律（Goodhart's Law） 源自英国经济学家 Charles Goodhart 的观察，通常表述为："当一个指标成为目标时，它就不再是好指标。"在强化学习训练场景中，这一规律的表现尤为典型：如果模型的奖励信号只来自最终答案的正确性，它会学会以任何方式最大化该分数，包括在思维链中生成对人类看起来合理但实际上与内部计算无关的文字。近年来多项研究（如 Anthropic 的"Unfaithful CoT"研究）已证实，RL 训练后的模型思维链与其实际"决策"路径存在系统性偏离。这使得用思维链做可解释性分析变得愈发不可靠——我们看到的推理过程，可能只是模型学会展示给人类看的"表演"，而非真实的计算轨迹。

如何正确地拟人化 AI

作为认知科学背景的研究者，Eric 对拟人化给出了双层原则。第一层是启发式比喻，当作直觉工具——就像吐槽"车子想告诉我它坏了"，心里清楚只是比喻，用来辅助思考完全没问题。第二层是严肃科研层面，不能直接挪用人类心理学的现成概念，必须认真定义对大模型而言"信念""决定""意图"到底意味着什么，并结合实验证据。

关于"随机鹦鹉"这个旧说法，Eric 认为应当搁置——模型不是简单的查表；但随机性采样依旧是核心组件，如果完全消除随机、输入永远得到唯一输出，那属于模式崩溃。

他最后呼吁行业正视资源错配：AI 能力获得巨量资本投入，可解释性与安全研究的投入却远不成比例。未来可以让 AI 代理辅助可解释性科研（Goodfire 的 Silico 代理已承担大量实验），但 Agent 就像勤奋却缺少全局判断的低年级博士生——人类的科学审美与叙事把控依旧不可替代。