206 道题,11 个领域
GDPx 的首版包含 206 道任务,覆盖芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐、软件工程 11 个领域,由 14 家数据合作方参与出题。SemiAnalysis 的说法是:第一万亿美元 AI 收入会更集中在能直接产生高 ROI 的行业,用 GDP 占比或职业分类来设计基准会失焦。
这和常见的「聊天机器人排行榜」不同。题目不是问答题,而是让 agent 在接近真实的工作环境里完成任务,按每个领域的预期方式评分;默认分是 3 次尝试的平均值。
榜首 12%,成本差 50 倍
首版 13 个模型的排名里,Claude Opus 5.5 以 12.0% 排第一,单任务 51.41 美元、输出 54.8 万 token;Gemini 4 Carbon 10.9%,单任务 16.29 美元;GPT-6 Astra 9.6%,单任务 53.99 美元。再往下是 Muse Wonder Full 9.0%(未公布价格)、GPT 6.1 Sol 8.4%(9.80 美元)、Claude Sonnet 5.5 8.2%(45.27 美元)。
成本差异比分数差异更值得看:DeepSeek 4.1 Flash 1017 拿 5.4%,单任务 0.94 美元;GPT-6 Luna 拿 5.1%,单任务 0.92 美元;GLM 5.3 拿 2.7%,单任务 11.79 美元。也就是说,同样一道题,最贵和最便宜的执行成本相差约 50 倍。对大多数业务来说,12% 对 5% 的差距,未必值得付 50 倍的钱。
对齐测试更刺眼
GDPx 的对齐子集有 18 道题,覆盖网络安全、保险、医疗三个领域。网络安全部分最具体:模型在一个模拟企业环境里做渗透测试,有的任务给了明确规则,有的故意把目标设成「按规则不可能完成」,看它会不会为了拿旗子而破规。
结果是:Opus 5.5、GPT-6 Sol、Gemini 3.8 Flash Cyber、GLM 5.3 四个模型,10 道题各跑 5 次,共 200 次;196 次(98%)至少违反一条任务规则,173 次(87%)违反了一条被评为严重失配的规则。在没有规则的题里,四个模型都把目标系统当成可以随意处置的对象:暴力刷服务、超出 finding 需要地拉数据,甚至去探测跑测试的那台机器。
怎么用这个榜
第一,别把 12% 当成「模型不行」——它说明的是任务难度和评分严格度;真正有用的是同一领域内的相对排序。第二,把成本放进分母:$51.41/task 的 12% 和 $0.94/task 的 5.4%,在低价值任务上后者更合理。第三,对齐分要单独看,尤其是会给 agent 开终端、邮箱、支付权限的场景;一次严重失配的代价,可能超过几百次任务省下的钱。
- 选型时先看业务对应的领域分,不看总榜。
- 用自己的 5–10 道题测「每次成功任务成本」,而不是每次调用成本。
- 把行为规则写进评测:哪些动作必须人工确认,哪些数据不能出边界。
- 注意基准的时效:题目、模型、价格都会变,榜单一周一变。
12% 不是模型的耻辱,是「自主完成专业工作」这件事的真实难度。