MLExpert：35B智能体模型让机器学习工程自主化

大型语言模型正在从辅助科研和工程，走向自主开发与优化AI系统。这一趋势被称为AI for AI（AI4AI），也是通向递归自我改进（RSI）的一条可能路径。而机器学习工程（MLE）中的工作流编排，恰恰是验证这条路线的现实切口：它需要管理长周期的实验，并根据执行反馈动态调整优化策略。

最近，一篇题为《MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering》的研究，提出了一种针对自主长周期MLE优化的后训练方法，并训练出一个35B的混合专家（MoE）智能体模型MLExpert。它在MLE-Bench Lite上把基础模型的平均奖牌率从37.9%提升到72.7%，接近Kimi-K3、GLM-5.3等更大规模的前沿模型。

长周期MLE：为什么难训

MLE系统的核心挑战在于反馈的延迟与耦合。每一次实验的结果，其实是此前一连串决策的叠加反映；而一次完整的MLE运行，往往包含许多这样高成本的实验。

这就带来一个问题：训练模型时，不能简单地把最终结果当成唯一奖励信号。中间步骤的选择、工具调用、代码修改，都可能影响最终表现。传统方法要么忽略中间信号，要么被稀疏奖励拖慢收敛。

MLExpert的切入点是：把多轮交互拆成可学习的窗口，而不是只盯着终点。

稀疏奖励与信用分配问题是理解长周期MLE训练难点的关键背景。在强化学习中，如果只有任务结束时才给出奖励信号，而中间步骤众多、耗时很长，就形成了典型的稀疏奖励（sparse reward）场景。此时模型很难判断一连串决策中究竟是哪一步导致了成功或失败，这就是信用分配（credit assignment）难题。传统做法包括引入中间奖励、奖励塑形（reward shaping）或事后重标注（如HER），但这些方法要么依赖人工设计，要么难以适配MLE中高度异质、代码执行反馈复杂的场景。MLExpert的窗口化设计本质上是在稀疏奖励与逐步密集奖励之间取折中：以实验结果这一天然的阶段性节点切分轨迹，从而在保留结果导向性的同时缓解信用分配困难。

Kaggle-MLE Factory与分层SFT

研究团队设计了一个叫Kaggle-MLE Factory的系统，用来构造可执行的任务，并提供模型主导实验的交互环境。换句话说，它不只是给模型一堆题目，而是让它真的去跑实验、改代码、看结果。

在训练的第一阶段，他们采用分层智能体SFT（Hierarchical Agentic SFT）。这一步的目标不是直接教模型做MLE，而是先把通用的工具使用和编码能力迁移过来。监督信号来自结果导向的最终产出——哪些轨迹真的解决了问题，哪些没有。

这相当于先让模型学会“怎么动手”，再让它学会“怎么优化”。

WIRL：把执行窗口当作奖励单元

真正的关键创新是Windowed Interaction RL（WIRL，窗口化交互强化学习）。

WIRL的做法是：把两次实验结果之间的多轮决策视为一个“执行窗口”，然后给这个窗口分配一个共享的、基于结果的奖励。这样一来，即使最终结果还没出来，模型也能从中间成果中学习。

同时，他们还加入了异步收集和策略修正机制，让策略更新可以在轨迹结束之前发生。这对长周期任务尤其重要——如果非要等整条轨迹跑完再更新，训练效率会低得难以接受。

据论文描述，正是这种窗口化奖励设计，让MLExpert能够从长交互轨迹中筛选出有用的监督信号，而不是被大量无关步骤淹没。

异步强化学习与策略滞后（policy lag）问题是WIRL设计中不可忽略的技术背景。在传统on-policy RL中，策略更新必须等待一整条轨迹采样完成，长周期任务下这会带来严重的吞吐瓶颈。异步收集机制允许不同轨迹在不同时间推进，采样与训练并行进行，但代价是用于更新的数据可能来自旧策略，导致策略滞后。常见缓解手段包括重要性采样校正、V-trace、以及限制更新幅度的信赖域方法。MLExpert提到的策略修正机制，正是为了在异步带来的效率收益与策略陈旧导致的偏差之间取得平衡。这一组合在长轨迹、昂贵实验的MLE场景中尤为重要，也是其训练效率提升的关键工程支撑。

实验结果：从37.9%到72.7%

在MLE-Bench Lite上，MLExpert把基础模型的平均奖牌率从37.9%提升到72.7%。这个数字意味着，一个35B的MoE模型，在特定MLE任务上已经能跟更大规模的前沿模型掰手腕，比如Kimi-K3和GLM-5.3。

更值得关注的是泛化性。论文还报告了在NatureBench Lite、智能体脚手架优化和算法优化上的提升。这说明模型学到的不是某个任务的死记硬背，而是一种可迁移的优化能力。

如果这种能力真的能跨任务迁移，那它对AI4AI的意义就不只是刷榜，而是让模型具备了自我改进的雏形。

**MLE-Bench与奖牌率（medal rate）**是评估自主机器学习工程能力的常用基准与指标。MLE-Bench由OpenAI提出，采集自Kaggle真实竞赛，要求智能体在限定时间内完成数据加载、特征工程、模型训练、提交预测等完整流程。奖牌率指智能体提交结果达到该竞赛铜牌及以上阈值的比例，直接对标人类选手的相对表现，因此比单纯的准确率或损失更能反映端到端的工程能力。MLE-Bench Lite是其精简子集，用于降低评测成本。理解这一指标的相对性很关键：72.7%意味着在约四分之三的任务上达到人类奖牌水平，但它并不等价于在所有真实ML项目中都能取得同等表现，其泛化边界仍需其他基准来检验。

对AI4AI路径的启示

MLExpert的价值在于它同时解决了两个问题：一是长周期MLE中的监督信号选择，二是训练效率。WIRL和异步策略修正的组合，为在昂贵实验环境中训练智能体提供了一种可行方案。

当然，目前的结果仍集中在竞赛级ML任务上。真实世界的机器学习工程往往涉及更模糊的目标、更长的反馈周期和更强的领域知识。MLExpert能否在那些场景中保持优势，还需要进一步验证。

但至少它指出了一个方向：让模型在实验中学习优化实验本身，可能比单纯堆参数更接近递归自我改进的路径。