为什么需要它

自动科研系统越来越多，但每篇论文用自己的任务、自己的基线，读者很难判断是方法好还是题目简单。Arena 的做法是把「合格」和「进步」分开：先看结果是否达到模型质量与资源约束的最低门槛，再看它在选定目标上前进了多少。这样不同系统至少在同一套规则下比较。

评测设置

目前在语言模型预训练上实例化，9 个目标覆盖模型结构、数据、训练和推理效率；7 套研究 harness、2 个基础模型。结果清楚地区分了不同 harness 的能力，但也出现了一个尴尬现象：几种复杂方法被一个简单的顺序搜索基线打败，说明自动研究系统还有很大提升空间。

不只是排名

论文还把 Arena 里发现的配置拿回新的质量驱动搜索中复用，在同等数据和 FLOPs 下训练损失更低，同尺寸模型的留出 BPB 也更低。换句话说，它既是考场，也能产出可复用的研究线索——这比单纯刷榜更有价值。

怎么读这个结果

「简单基线赢」不代表复杂方法没前途，更可能是当前 harness 把力气花在了编排上，而不是实验设计。对做 agent 的团队，这是一个提醒：先确认搜索空间和评价信号对不对，再谈多 agent 分工；否则只是把无效实验跑得更快。

自动科研的第一道门槛不是更聪明的 agent，而是能不能用更少的实验次数问出更好的问题。