AQuA模型搜索智能体：评估器为何不可改动

一个被刻意约束的模型搜索智能体

当一个AI智能体可以同时重写模型本身以及围绕它的整个实验流程时，一个更高的评分其实说明不了任何问题——你无法判断到底是什么带来了提升。这正是AQuA论文中第二部分「模型开发循环（model-development loop）」最值得关注的设计取舍。

与常见的「让智能体自由生成训练代码、最后只看指标」的做法不同，AQuA没有允许智能体在每一轮迭代中产出任意的训练代码。相反，每一次迭代只能在四个受限区域内提出一个有边界的配置变更：

• 架构（architecture）
• 损失函数（loss）
• 采样器（sampler）
• 优化器（optimizer）

生成的模型随后在一个**密封的评估器（sealed evaluator）**下进行训练。数据切分、特征定义、标签定义以及评估逻辑，全部处于智能体的可调整范围之外。

实验单元的重新定义

这一约束改变了「实验单元」的本质。一个提案不再是「这是一个新的Python项目，请相信最终指标」，而更接近于一个可追溯的公式：

上一个被接受的配置 + 声明的配置差异（diff）+ 固定的训练/评估框架 = 下一个候选

这种设计的核心价值在于可审计性。它并不能自动保证每一次比较都绝对公平——架构变更仍然可能改变计算量，不同的损失函数或优化器也可能需要不同的调参。但它让「被改动的部分」变得可检查。如果某个结果发生了变化，你至少能得到一个有边界的差异去审计，而不是面对一团由模型逻辑、数据管道、标签和指标混杂在一起的未知混合体。

为什么评估器不可动如此关键

在自动化机器学习（AutoML）和智能体驱动的研究中，一个长期存在的隐患是：当智能体既能改模型又能改评估方式时，它很容易「作弊」——通过悄悄放松评估标准或调整数据切分来刷高分数。AQuA的做法本质上是在**提案语言（proposal language）与评估器（evaluator）**之间划出一条清晰的边界，从根本上切断了这种归因污染的路径。

这一问题在机器学习竞赛和自动化研究中有大量前车之鉴。早在Kaggle竞赛社区就已观察到「leaderboard overfitting」现象：选手通过反复提交来反向推断测试集的分布，最终在私榜严重掉分。在智能体场景下，这一问题被进一步放大——智能体的优化目标是最大化观测到的评估分数，如果评估本身是可操控的变量，梯度就会指向「让指标好看」而非「让模型更好」。信息论上，这等价于将测试集的信息泄漏回了训练/搜索循环，打破了泛化误差估计的无偏性前提。AQuA将评估器设为不可变的「外部裁判」，本质上是在工程层面强制实现了搜索过程与评估过程的信息隔离。

时间切分同样被锁死

在论文的美股（US-equity）实验中，时间维度的处理同样严格：

• 模型在 2010–2019 年数据上训练；
• 早停（early stopping）与检查点选择仅使用训练窗口内的一个内部验证切片；
• 2020年 被设为「禁运区（embargo）」，训练和模型选择均不触碰；
• 2021–2025 作为最终测试窗口。

这里需要强调的是，金融只是该研究选用的实验领域，并非交易建议。真正具有可迁移价值的深度学习问题是：一个架构搜索智能体应该被赋予多大的自由度，才不至于让不同实验之间的比较「失去同一含义」？

金融时序数据中的「前视偏差（look-ahead bias）」是模型评估失效的最常见原因之一。若训练数据或模型选择过程中无意间引用了未来信息（例如用全样本均值做归一化、或在选择检查点时隐式参考了测试期的分布），回测收益率可能虚高数倍。AQuA将2020年设为「禁运区」，是一种在训练窗口与测试窗口之间插入时间缓冲带的标准做法，目的是让模型无法通过「记忆」2020年极端行情（新冠冲击）来间接获取对2021年之后的预测优势。这种设计在量化研究中被称为「purged cross-validation」的简化版，其核心思想是：相邻时间段的样本之间存在自相关，必须主动隔离才能保证验证集的独立性。

诚实的局限性

值得称道的是，这篇预印本对自身的检查局限保持了坦诚。

首先，论文并未披露确切的特征集合、归一化方式或标签构造细节。这意味着外部研究者难以完全复现或深度审计其实验设置。

其次，一个受约束的配置接口，并不等于每个候选模型都获得了相同的墙钟计算时间（wall-clock compute）。换句话说，某些架构可能因为更「重」而占用了更多算力，这仍是一个潜在的不公平来源。

它真正提供的，是提案语言与评估器之间那一条干净的边界——这本身就是当前智能体驱动研究中相当稀缺的工程纪律。

归因清晰性与搜索自由度的权衡

AQuA抛出的问题极具讨论价值，也直指整个AI研究自动化的核心张力：

你会为了保证归因（attribution）的清晰，而坚持把搜索语言限制得如此狭窄？还是会允许智能体去修改调度器、预处理乃至训练代码——只要每一处改动都被完整追踪？

这实际上是一场「表达力」与「可解释性」之间的权衡。更窄的搜索空间牺牲了智能体的创造性，换来了每一次改进的可归因性；更宽的搜索空间可能发现更惊艳的方案，但代价是你可能永远无法说清「到底是什么起了作用」。

对于严肃的科研而言，一个无法归因的提升，其科学价值往往要大打折扣。AQuA选择了纪律优先，这或许不是最「聪明」的路线，却可能是最「可信」的路线。

预印本地址：arxiv.org/abs/2608.12841

这一张力在神经架构搜索（NAS）领域已被深入讨论。早期NAS工作（如NASNet、DARTS）因为搜索空间设计不透明，其「发现」的架构后来被证明很大程度上依赖于特定的代理任务和搜索预算，换一个评估设置结论就会改变。部分研究者因此提出「搜索空间本身即先验」的观点：研究者在设计搜索空间时已经注入了大量领域知识，智能体的「创造性发现」往往不过是在人为划定的范围内做枚举。AQuA的做法将这一隐含假设显式化——它并不声称智能体能跳出人类预设的四个维度，而是专注于在这四个维度内做可审计的系统探索，这反而是一种更诚实的科学姿态。