LLM智能体探究能力评估：假设、推理与探索

当LLM化身科学家：一场关于探究能力的考试

科学探究从来不是单一能力的展示，而是"假设—实验—观察—修正"的循环往复。大语言模型在归纳推理、假设生成、数据分析等单项任务上表现亮眼，但把这些能力串成一条完整的探究链路时，它们还能胜任吗？

一篇题为《Evaluating Inquiry Learning in LLM-Based Agents: Hypothesizing, Reasoning, and Exploration》的研究，正是冲着这个问题来的。研究者指出，以往的工作大多把LLM的各项科学能力拆开单独测试，缺乏一个统一、交互式的评估框架来观察模型如何在整个探究周期中整合这些能力。

实验设计：把Countdown任务改造成"数学实验室"

从静态题目到交互式环境

研究团队的做法颇具巧思：他们将经典的Countdown任务扩展为一个数学环境，让智能体不再只是被动答题，而是主动操纵变量、收集观察结果、推断变量之间的关系。这相当于把一个静态的数学题变成了一个可供"做实验"的微型科学系统。

在这个环境中，智能体需要完成几个关键动作：

• 探索策略：决定先试哪些变量组合
• 因果发现：从观察数据中找出变量间的依赖关系
• 假设修正：根据新证据调整自己的猜想

这套设置让研究者能够同时观察探究行为的多个维度，而不是只看最终答案对错。

Countdown 任务是数学推理与规划领域中常见的基准题：给定若干数字和一个目标数，要求通过加减乘除运算，把给定的数字组合成目标数。传统 Countdown 是单轮的静态问答，模型给出一个表达式即结束，考察的是搜索与算术能力。本研究对其做了关键改造：把解题过程转化为多轮交互，模型可以主动抛出一个变量组合并观察反馈，再据此推断隐藏规则。这样一来，原本“一次性求解”的题目变成了“反复实验—观察—归纳”的闭环，智能体不再比拼单步推理的准确率，而是暴露它在设计实验、分配试错预算、从噪声反馈中提炼规律等方面的行为特征。该改造的好处是把探究能力拆解成可观测的交互轨迹，使探索策略、因果发现和假设修正能够被独立打分，为后续评估框架提供了统一的实验底座。

七个模型、多种提示策略的横向对比

实验中测试了七个LLM，并搭配了多种提示策略。结果显示，模型们内在的探究能力相当有限——发现底层表达式（即真正理解系统规律）的成功率偏低。它们往往倾向于随机试探，而非有策略地设计实验；面对矛盾证据时，也缺乏有效修正假设的能力。

结构化引导：来自教育学的一剂良方

脚手架式提示的意外效果

研究中最有意思的发现是：当研究者引入受教育脚手架（educational scaffolding）启发的结构化引导后，模型的表现显著提升。也就是说，那些为人类学习者设计的探究学习支持策略——比如分步提示、引导性提问、阶段性检查——同样能帮助LLM更好地完成探究任务。

这一结果有两层含义。一方面，它说明LLM并非完全不具备探究潜力，只是缺乏自我组织和自我调节的能力；另一方面，它暗示了一个实用的改进方向：与其期待模型自发涌现出科学家的思维方式，不如在交互层面给予结构化支持。

教育脚手架（educational scaffolding）源自维果茨基的“最近发展区”理论，指教师在学习者独立完成任务尚显吃力时，提供临时性的提示、示范或分步引导，并在能力增长后逐步撤除。常见的脚手架形式包括：把复杂任务拆成有先后依赖的子步骤、提出引导性提问、在关键节点设置检查点、给出可模仿的示例。本研究的巧妙之处在于，把这一人类教育学概念迁移到提示工程中：用结构化的提示模板代替人师，为 LLM 的探究过程划定阶段、提示下一步该做什么。这既是一种 prompt engineering 策略，也是一种交互层面的“认知支架”，其效果之所以显著，是因为它弥补了模型在元认知层面的短板——即对自己当前处于探究哪一阶段、下一步应追求何种信息增益缺乏自我监控。

简单引导为何有效

研究者的解释是，结构化引导帮助模型在探究过程中维持了更清晰的阶段划分——先做什么、再做什么、何时该回头验证。没有这种引导，模型容易在探索空间里"迷路"，反复尝试相似的假设而不自知。

局限与启示：LLM距离"自主科学家"还有多远

战略探索是明显短板

实验暴露出的核心短板集中在战略探索和迭代假设修正两个方面。优秀的科学探究者不会盲目试错，而是基于已有观察设计下一步实验，让每一步都尽可能提供新信息。LLM在这方面表现欠佳，往往缺乏这种"信息增益"意识。

战略探索的核心是“信息增益”意识：一名优秀的探究者不会把实验预算浪费在已经验证过的假设上，而是优先选择那些无论结果如何都能最大程度减少不确定性的实验。这在认知科学中对应“最优实验设计”的思想，在强化学习里则与主动学习、贝叶斯实验设计相通。本研究的发现是，LLM 在这类决策上表现接近随机试探：它们倾向于重复相似假设、在已有证据支持的变量上反复操作，而很少主动设计“能否证伪当前猜想”的关键实验。缺乏信息增益意识的直接后果是样本效率低下——同样次数的交互，人类探究者能更快锁定底层规律，模型却可能长时间停留在低区分度的观察区间，这也是其底层表达式发现成功率偏低的重要原因之一。

对AI智能体开发的实践意义

对于正在构建AI智能体的开发者来说，这项研究传递了一个务实信号：当前阶段，指望LLM自主完成开放式的科学探究任务并不现实。更可行的路径是在系统设计中嵌入引导机制——无论是提示工程层面的脚手架，还是多轮交互中的阶段检查，都能实质性地提升探究质量。

研究也提醒我们，评估LLM的科学能力时，单项基准测试的高分可能具有误导性。真正的挑战在于能力之间的衔接与整合，而这恰恰是当前模型最薄弱的地方。

总结

这项工作构建了一个统一、交互式的LLM探究能力评估框架，通过改造Countdown任务实现了对探索策略、因果发现和假设修正的综合考察。七个模型的表现揭示了当前LLM在自主探究上的明显不足，同时也证明了结构化引导的有效性。对于AI研究社区而言，这既是一份诚实的"能力体检报告"，也是一条指向改进方向的线索：让LLM学会像科学家一样思考，或许要先从"教"它如何被引导开始。