百度文心 11 月 9 日首次披露自动研究系统 ERNIE Evolve 的细节。它不写产品文案,也不做数据标注,做的是 AI 研发本身:改代码、跑实验、看结果、再决定下一步。
两个嵌套的循环
外层循环决定研究什么,把方向分给多条并行的 lane;内层循环在每条 lane 的候选代码树上改代码、跑实验、提交独立评测,只有评测通过才保留。给定一个代码仓库、一个优化目标和一套评测标准,系统自己改、自己跑,并记录每次改动与结果供后续轮次参考。官方把它定位为自动研究系统,不是自动写代码工具。
先在三类公开任务上验
百度先拿三个公开的 AI 研发任务试:NanoChat AutoResearch(训练算法)、NanoGPT Speedrun(训练速度)、SOL-ExecBench(GPU kernel 优化)。三项都超过基线,其中前两项超过团队对比过的最强公开结果。
更有说服力的是生产环境里的数字
重点在后面:ERNIE Evolve 被用在自家 ERNIE-5.5-Flash 的推理优化上,改动要过与工程师相同的负载测试和正确性检查。昆仑芯 P800 的低延迟场景,四轮研究把生成速度从基线的 282.9% 提到 588.8%,再到 623.6%;中间有一轮把专用通信换成通用 collective,速度反而掉 14%,被直接丢弃。确定性推理吞吐那个任务跑了约三天,吞吐 +33.7%,每个输出 token 的平均耗时 -26%,首 token 时间 -12%,确定性没有被破坏。
它的边界在哪
这些收益集中在性能工程:kernel 替换、调度与同步、通信路径选择。系统没有提出新架构,也没有替代研究员的判断——方向由人定,评测由独立流程判。官方把它描述为「把自动研究接进日常工作」的第一步。
自动研究最先证明价值的场景,是那些人不愿意做、但每一两个百分点都值钱的性能活。