跑分第一,价格也压下来了

Artificial Analysis 的 Intelligence Index v5.0 是九项知识工作、编程、科学与常识测试的加权平均,多数使用私有题集。Carbon 在高推理档拿到 59 分排第一,单任务成本 $7.76、耗时 21.6 分钟;Claude Opus 5.5 的 max 档是 59 分,但单任务要 $21.07。换句话说,头部两家的分数贴得很近,差的是账单。

九个单项里 Carbon 拿了四个第一:AutomationBench-AA(业务任务)、HLE-Diamond(专家级学术题)、Terminal-Bench-Science 0.1(终端里的科研任务)、AA-Omniscience v1.1(常识与幻觉率)。在 Coding Agent Index v2.0 上它排第二,落后 Opus 5.5,但更便宜、更快;在 Vals AI 的 Vals Index v2.2 上以 70.45% 排第二,只输给 Claude Sonnet 5.5 的 max 档;在 Arena.ai 的文本盲测榜上以 1528 Elo 排第一。

网络安全是官方最想让你记住的部分

Google 自测的三项网络安全基准很亮眼:SEC-bench Pro 88.2%(找漏洞)、ExploitGym 54.8%(写利用)、CWE-bench 71.0%(打补丁),都是不带护栏的评测;官方还说生成安全代码比 Gemini 4 Argon 提升约 2 倍,WebDev Arena 涨 89 Elo 到 1769 分、排第四。

这些数字全部来自 Google 自测或合作方评测,第三方还没有复现;更关键的是模型没有普遍开放,外部团队无法拿自己的代码库去验证。对安全团队来说,一份不能复现的自测报告只能当参考,不能当采购依据。

真正的门槛是拿不到

Carbon 目前只给 Google 挑选的一小批公司使用,通过 Fairwind Program 逐步扩大;官方说会「尽快」扩大访问,但没有 API 开放日期,也没说订阅是否包含。价格是引入期每百万输入 $2、缓存 $0.10、输出 $10,之后回到 $4/$0.20/$20,引入期何时结束没有公布。

  • 把评测拆开看:业务任务、终端科研、代码修补分别对应哪些内部场景,不要用一个总分做决定。
  • 按两套价格各算一遍成本:引入期 $2/$10 与正式价 $4/$20,后者才是长期预算。
  • 如果要用在安全场景,先确认自己是否有资格进入 Fairwind,以及能不能拿到可复现的评测口径。
分数领先不等于能用,能用也不等于算得过账。