35B 的 MLExpert 把 MLE-Bench Lite 获奖率从 37.9% 拉到 72.7%：长程实验里怎么挑有用的监督信号

论文（arXiv 2610.22344）要解决的是「让模型自己跑机器学习工程」时的一个具体困难：一次长程 MLE 运行里有大量实验，而每个实验的反馈其实反映的是前面好几步决策叠加的结果，所以训练时得从很长的交互轨迹里挑出真正有用的监督信号，并且学会从中间结果里学东西。作者提出的后训练方法分两块：用「分层 agentic SFT」把通用的工具使用和编程能力，通过结果导向的监督迁移到 MLE 场景；再用「窗口化交互强化学习（WIRL）」，把两次实验结果之间的多轮决策看成一个执行窗口，给整个窗口一个共享的、基于结果的奖励；同时用异步采集与策略纠正，让策略在轨迹结束之前就能更新。方法落到一个 35B 的 MoE agent 模型 MLExpert 上，作者还做了 Kaggle-MLE Factory 来批量构造可执行任务，以及一个由模型主导实验的交互 harness。结果是在 MLE-Bench Lite 上，平均获奖率从基座的 37.9% 提到 72.7%，作者称与 Kimi-K3、GLM-5.3 这类更大的前沿模型相当；在 NatureBench Lite、agent 脚手架优化和算法优化上也都有提升，说明学到的优化能力可以迁移到别的任务。