强化学习让大模型学会心智推理：从感知到行动的规则学习

心智推理的困境：模型知而不行

大语言模型在 Theory-of-Mind（心智理论，ToM）推理任务中常常出现一种令人费解的现象——它能够正确推断出故事中角色的心理状态，比如某人误以为巧克力还在蓝色抽屉里，但当被问及这个人接下来会去哪里找巧克力时，模型却给出了一个基于"客观事实"而非"错误信念"的答案。换句话说，模型知道角色的想法，却不用这个想法去预测行动。

这种推理断层并非偶然。它揭示了一个根本问题：模型在感知信息、形成信念、驱动行动这三个环节之间缺乏明确且稳定的连接机制。一项新的研究尝试用强化学习来弥合这道裂缝。

Theory-of-Mind（心智理论，ToM） 是认知科学中的核心概念，指个体理解他人拥有与自己不同的信念、意图和情感的能力。经典研究范式是意外地点任务（false-belief task）：儿童观看一个角色将巧克力放入蓝色抽屉后离开，另一个角色趁其不在将巧克力移到绿色抽屉，随后问儿童"该角色会去哪里找巧克力"。能识别错误信念的儿童会回答"蓝色抽屉"，因为他们理解角色持有与事实不符的信念。这一能力通常在4-5岁出现，被视为社会认知发展的重要里程碑。在AI领域，ToM被用作评估模型是否真正理解心理状态而非仅仅进行模式匹配的测试。大语言模型的"知而不行"现象正对应了认知科学中长期争论的"信念-行动分离"问题：即便系统能表征心理状态，表征与行为输出之间仍需额外的机制连接。

用 if-then 规则连接感知与行动

该研究的核心思路直截了当：如果模型不能自发地将感知、信念与行动串联起来，那就显式地教它这种规则。研究者生成简洁的 if-then 规则，比如"如果角色没有看到物体被移动，那么她会去物体的原始位置寻找"，然后用 Group Relative Policy Optimization（GRPO）训练 Qwen2.5 和 Llama3 系列模型，在四个 ToM 基准测试上评估效果。

GRPO 在这里扮演了关键角色。传统的监督微调只是让模型模仿标注答案，而 GRPO 通过比较同一问题下多个生成结果的相对质量来优化策略，促使模型主动发现什么样的规则生成方式能带来更好的推理表现。这比单纯给模型"喂答案"更接近让模型"学方法"。

Group Relative Policy Optimization（GRPO） 是DeepSeek^广告提出的一种强化学习算法，专为语言模型的对齐与推理优化设计。与传统PPO需要额外训练价值网络（critic）不同，GRPO对同一提示词采样多个输出，以组内输出的相对质量作为基线来估计优势函数，从而省去了价值模型的开销。这种"组内比较"机制在ToM任务中尤其契合：给定同一故事场景，模型可生成多条候选规则，算法通过比较哪条规则导致更准确的行动预测来强化策略。相比监督微调直接将标注答案作为目标，GRPO的奖励信号作用于整个生成序列，鼓励模型探索"好的规则应当如何书写"，而非单纯复制正确答案的分布。这一特性使其在需要结构化推理而非事实回忆的任务上展现出优势。

规则学习为何优于思维链

实验比较了四种策略：直接提示（prompting）、监督微调（SFT）、思维链推理（think reasoning）以及 GRPO 训练下的规则生成。结果显示，GRPO 配合规则生成在四个 ToM 基准上均取得了最优表现。

这一结果值得深思。思维链（Chain-of-Thought）推理一直被视作提升模型复杂推理能力的通用手段，它让模型"说出"中间步骤。但在 ToM 场景中，仅有推理过程仍然不够——模型可能"说"出正确信念却"做"出错误预测，推演链条并未真正约束最终判断。

而 if-then 规则提供了一种因果性的约束结构。当模型被训练去生成和运用这些规则时，它被迫在感知信息与行动预测之间建立可验证的映射关系。规则是可检查的：给定角色看到了什么、没看到什么，规则直接规定行动预测应该是什么。这种透明性本身就是一种有效的训练信号。

Chain-of-Thought（思维链，CoT） 推理由Google在2022年提出，核心思想是让模型在给出最终答案前先输出中间推理步骤，通过"逐步思考"提升复杂任务表现。其有效性在数学、逻辑和多跳问答等任务上得到广泛验证，原理在于分解问题降低了单步推理难度，同时中间步骤为模型提供了额外的计算空间。然而CoT存在一个常被忽视的局限：它对推理过程本身没有可验证的约束。模型可能生成看似合理但实际与最终答案脱节的推理链，即"说一套做一套"。在ToM任务中，模型可以流畅地叙述"角色相信巧克力在蓝色抽屉"，却在行动预测时绕开这一信念直接诉诸客观事实。if-then规则的方法论意义正在于此：它将推理约束为可检验的条件-动作映射，每条规则都是一个独立的可验证单元，弥补了CoT"过程不可验证"的根本缺陷。

小模型生成规则，大模型受益

研究还发现了一个值得关注的跨模型迁移现象：参数量 ≥3B 的模型通过 GRPO 训练生成的规则，可以作为可迁移知识提升 GPT-4o-mini 的下游表现。

这意味着规则本身携带了关于 ToM 推理的结构化知识，这种知识不局限于生成它的模型架构。一个在 Qwen2.5 或 Llama3 上训练出的规则集，能够被更大或不同系列的模型直接利用。这在实践中有两个含义：一是小模型可以成为"规则工厂"，以较低成本为更强模型提供推理增强；二是 ToM 能力中的某些方面可能被编码为可形式化的知识，而非只能通过规模涌现。

当然，迁移效果的具体幅度和适用边界仍需更多实验来界定。研究者在摘要中未披露迁移增益的数值细节，这提醒我们对实际应用中的收益保持审慎预期。

可迁移知识（transferable knowledge） 在此指从一个小模型训练过程中提取出的结构化规则集，能够被另一个独立模型直接利用以提升性能。这种迁移通常有两种形式：一是将规则作为上下文提示注入目标模型（in-context transfer），二是将规则作为训练数据对目标模型进行微调（fine-tuning transfer）。研究中的跨模型迁移之所以重要，是因为它暗示ToM推理的某些方面可能具有"模型无关"的结构——如果规则只在特定架构内有效，说明其捕捉的是模型特有的表征偏置；但若能跨架构迁移，则表明规则捕捉的是任务本身的内在逻辑。这与知识蒸馏的思路有交集但不完全相同：知识蒸馏传递的是软标签分布，而规则迁移传递的是可读、可编辑的符号化约束，具有更高的可解释性和可组合性。

对心智推理研究的启示

这项工作指向一个更宏观的问题：大语言模型的心智推理能力，究竟应该通过继续扩大规模来"涌现"，还是可以通过显式的结构化指导来"构建"？

研究结果倾向于后者——至少对于感知-信念-行动这一特定推理链条，显式规则比隐式的规模增长更有效。这与近年来关于"小模型+好方法"可能在特定推理任务上超越"大模型+弱方法"的讨论方向一致。

不过，心智推理包含的远不止感知-行动这一条路径。信念的递归嵌套、多层欺骗、情绪的因果推断等更复杂的 ToM 场景，是否都能被 if-then 规则覆盖，仍是开放问题。规则方法的可扩展性取决于研究者能否为不同类型的 ToM 推理设计出足够丰富且不冲突的规则集。

对于关注 AI 推理能力的研究者和开发者来说，这项研究提供的操作思路是清晰的：与其期待模型自己学会从感知到行动的完整链条，不如用强化学习帮它把这根链条的每一环都显式地锻造出来。