[控场AI]
· 4 分钟阅读· 2,367 字

递归自我进化:DiscoveryRSI如何让AI学会提出好假设

递归自我进化:DiscoveryRSI如何让AI学会提出好假设

DiscoveryRSI 用三层递归机制让大模型学会提出可检验假设,并配套 DFM-Bench 评估。

文章介绍 DiscoveryRSI 这一科研辅助框架,其核心主张是让大模型从"回答问题"转向"发现问题"。研究团队先给出"有价值可检验假设"的操作性定义,包含证据支撑、后果性不确定性、可行研究方案与判定标准四要素,把模糊直觉转化为可评估结构。框架由三层递归机制构成:假设信用优化将评审结果归因到具体贡献记录,工作流回放识别高产出策略与重复失败模式,再发现把改进迁移到新任务。配套的 DFM-Bench 从四个层级评估假设质量。实验中假设质量从基座 4.86 升至两轮改进后的 5.39,可证伪性与数据可解析性提升最明显;与截止日期后论文的对应率达 6.3%,高于 GPT-6 与 Claude Opus 5。文章也指出评分绝对值仍低、对应率可能源于热点捕捉、评估偏差可能被递归放大等局限。

科学发现的核心难题之一,并非验证假设,而是提出值得验证的假设。当前大模型在科研辅助上的表现,往往停留在文献综述或代码生成层面,真正涉及"从不确定性中提炼出可操作的研究问题"这一环节时,能力便明显不足。DiscoveryRSI 这篇工作试图补上这块短板:它不满足于让模型"回答"问题,而是让模型学会"发现"问题,并通过递归机制持续改进这一能力。

DiscoveryRSI 论文来源截图

什么样的假设才算"有价值"

研究团队首先做了一件基础但关键的事:给"有价值的可检验假设"下了一个操作性定义。这个定义包含四个要素——基于证据的主张、指向后果性不确定性、配套可行的研究方案、明确的判定标准与替代解释。

这个定义的意义在于,它把"好假设"从模糊的直觉判断转化为可评估的结构。一个假设如果只是听起来有趣,却无法说清"什么结果会推翻它",在这个框架下就不算合格。这也解释了为什么后续评估中"可证伪性"和"数据可解析性"成为提升最明显的两个维度——它们恰好是这个定义中最容易被忽视、也最容易被机械化改进的部分。

DiscoveryRSI 的三层递归机制

DiscoveryRSI 的框架由三个相互咬合的机制构成,形成一个闭环。

假设信用优化:把评审意见变成训练信号

多智能体演化搜索负责生成假设树,而"假设信用优化"则把科学评估结果归因到具体的研究贡献记录上。简单说,系统不仅知道某个假设得分高低,还知道是哪一步推理、哪一条证据支撑导致了这一分数。这让改进有了明确的着力点,而不是笼统地"整体变好"。

信用分配(Credit Assignment) 是强化学习与多步推理中的经典问题:当一个多步过程最终得到好或坏的结果时,如何判断是哪一步决策真正导致了这一结果。在稀疏奖励场景下,这个问题尤其困难,因为系统只知道终局分数,却不知道中间哪条推理路径、哪条证据引用起了关键作用。假设信用优化正是把这一思想迁移到科学假设生成上——把专家或自动评审给出的分数,逆向归因到假设树中的具体贡献记录(某一步推理、某一条证据),从而让模型知道"该保留什么、该修正什么"。没有信用分配,递归改进只能退化为对整体输出的笼统偏好调优,难以精确定位问题所在。

工作流回放:识别有效策略与反复失败

"Harness replay"机制会回放研究过程,从中识别出高产出策略和反复出现的失败模式,据此精炼研究流程。这一点在工程上颇具价值——科研中的失败往往具有重复性,能够被系统识别并规避,本身就是一种能力积累。

Harness(评测/运行框架) 在 AI 智能体研究中指包裹模型的外部运行环境,负责编排工具调用、多轮交互、状态管理与结果记录。Harness replay 即对这一运行轨迹进行回放与复盘,把一次完整研究过程拆解为可检视的步骤序列。这一思路借鉴了软件工程中的录放式调试与智能体研究里的轨迹分析:通过比较成功与失败轨迹的差异,识别出哪些策略重复带来高产出、哪些失败模式反复出现。其价值在于把隐性的"研究经验"显性化为可复用的流程规则,使系统能够在无需重新训练模型参数的情况下改进研究行为。

再发现:把改进迁移到新问题

"Rediscovery"把已接受的改进应用到新的研究任务中,同时产生新的经验供后续学习。三层机制叠加,使系统具备了递归自我改进的结构,而不是一次性微调。

DFM-Bench 与实验结果

配套的 DFM-Bench 从假设、修订、发展路径和研究运行四个层级评估假设质量与累积研究进展,覆盖四个生命科学领域。

自动化评估显示,假设质量从基座模型的 4.86 提升到两轮自我改进后的 5.39,提升集中在可证伪性和数据可解析性上。这个绝对增幅看起来不大,但在一个需要结构化推理的任务上,两轮迭代能带来稳定提升,说明递归机制确实在起作用。

更值得关注的是外部验证。专家评审中,DiscoveryRSI-27B 在假设重要性和"主张是否可信且有证据边界"两项上得分高于 GPT-6 Luna。在与模型截止日期之后发表的论文的对应率上,DiscoveryRSI-27B 达到 6.3%,而 GPT-6 为 2.5%、Claude Opus 5 为 2.3%。这个指标衡量的是模型能否"预判"后续真实研究的方向,虽然绝对数值不高,但相对差距明显。

与截止日期后论文的对应率 是一种衡量模型"前瞻性"的代理指标:选取模型训练数据截止之后才发表的真实论文,考察模型独立提出的假设是否与这些论文的核心主张或研究方向相吻合。该指标的逻辑是,若模型能命中其未见过的后续研究,则说明其输出可能反映了对科学问题结构的真实把握,而非对训练语料的复述。但这一指标存在固有局限:高对应率也可能来自对研究热点、流行范式和常见方法组合的模式捕捉,而非真正的因果洞察。因此解读时需结合专家评审等定性证据,单看数值容易高估模型的科学发现能力。

冷静看待:递归进化的边界在哪

这套框架的野心不小,但有几个问题值得追问。其一,假设质量评分从 4.86 到 5.39,距离"可靠科研伙伴"仍有距离,专家评审的样本规模也仅表述为"初步"。其二,6.3% 的对应率提升是否部分来自对研究热点的模式捕捉,而非真正的科学洞察,目前难以区分。其三,递归学习依赖高质量的科学评估信号,如果评估本身有偏,递归可能放大偏差。

不过,这项工作提出的方向是清晰的:把"提出好问题"作为可训练、可评估、可递归改进的能力来对待。相比追求单次回答的准确性,这种围绕研究过程建模的思路,或许更接近科学发现的真实形态。

#DiscoveryRSI#AI科学发现#假设生成#递归学习#多智能体#DFM-Bench#AI科研智能体
分享:

相关推荐