AQuA
一篇关于模型搜索智能体的研究论文,提出了带约束的模型开发循环设计,通过密封评估器和受限配置变更区域来保证实验可审计性,防止智能体通过篡改评估过程虚报指标
时间轴 (近 90 天)
AQuA将金融作为实验领域但明确声明这并非交易建议
AQuA的美股实验中,模型在2010–2019年数据上训练,2020年被设为禁运区,2021–2025年作为最终测试窗口
AQuA的早停与检查点选择仅使用训练窗口内的一个内部验证切片
AQuA论文并未披露确切的特征集合、归一化方式或标签构造细节,导致外部研究者难以完全复现
受约束的配置接口并不保证每个候选模型获得相同的墙钟计算时间,某些更重的架构可能占用更多算力,是潜在的不公平来源
更窄的搜索空间牺牲智能体创造性以换取每次改进的可归因性,更宽的搜索空间可能发现更好方案但难以说清什么起了作用
AQuA的模型开发循环中,智能体每次迭代只能在四个受限区域(架构、损失函数、采样器、优化器)内提出有边界的配置变更
AQuA的生成模型在一个密封的评估器下训练,数据切分、特征定义、标签定义和评估逻辑均不在智能体的可调整范围内
在提案语言与评估器之间划出清晰边界可以切断智能体通过放松评估标准或调整数据切分来刷高分数的归因污染路径
AQuA论文附录B记录了一个案例:某早期特征的解释通过了审查,但在计算全天成交量作为分母时使用了未来的信息,属于数据泄露
还有 4 条时间轴事件
全部知识事实 (14)
AQuA将金融作为实验领域但明确声明这并非交易建议
50%待验证AQuA的美股实验中,模型在2010–2019年数据上训练,2020年被设为禁运区,2021–2025年作为最终测试窗口
50%待验证AQuA的早停与检查点选择仅使用训练窗口内的一个内部验证切片
50%待验证AQuA论文并未披露确切的特征集合、归一化方式或标签构造细节,导致外部研究者难以完全复现
50%待验证受约束的配置接口并不保证每个候选模型获得相同的墙钟计算时间,某些更重的架构可能占用更多算力,是潜在的不公平来源
50%待验证更窄的搜索空间牺牲智能体创造性以换取每次改进的可归因性,更宽的搜索空间可能发现更好方案但难以说清什么起了作用
50%待验证AQuA的模型开发循环中,智能体每次迭代只能在四个受限区域(架构、损失函数、采样器、优化器)内提出有边界的配置变更
50%待验证AQuA的生成模型在一个密封的评估器下训练,数据切分、特征定义、标签定义和评估逻辑均不在智能体的可调整范围内
50%待验证在提案语言与评估器之间划出清晰边界可以切断智能体通过放松评估标准或调整数据切分来刷高分数的归因污染路径
50%待验证AQuA论文附录B记录了一个案例:某早期特征的解释通过了审查,但在计算全天成交量作为分母时使用了未来的信息,属于数据泄露
50%待验证AQuA后来的设计用一个固定的因果算子注册表替换了原来开放的构造空间
50%待验证在约束操作语言的设计下,那个使用未来信息的归一化器在语言层面变得根本无法表达
50%待验证AQuA论文明确承认约束操作语言并不能阻止所有可能形式的泄露
50%待验证AQuA的研究揭示,评估者可以批准一段看似合理的解释,却完全错过了产生这个解释的错误中间操作
50%